Combien de mots représente un token ?

En ordre de grandeur : un token vaut environ trois quarts de mot en anglais, soit à peu près quatre caractères. Un texte anglais de 1 000 mots pèse donc autour de 1 300 tokens. Dans la plupart des autres langues, comptez plus — en français notamment : nos mots accentués et nos conjugaisons sont moins bien couverts par les vocabulaires, historiquement optimisés pour l'anglais.

Tous les modèles d'IA découpent-ils le texte de la même façon ?

Non : chaque famille de modèles a son propre tokenizer — les modèles récents d'OpenAI utilisent un vocabulaire d'environ 200 000 entrées (nom de code « o200k »), celui de Llama découpe différemment. Un même texte n'a donc pas le même nombre de tokens d'un modèle à l'autre. D'où l'intérêt de vérifier avec l'outil du fournisseur que vous utilisez réellement.

Que se passe-t-il quand je fais une faute de frappe ?

Le mot mal orthographié n'existe pas dans le vocabulaire, donc l'algorithme le découpe en fragments plus petits — parfois lettre par lettre. Le modèle voit alors une séquence inhabituelle, mais comme il a croisé des millions de coquilles pendant son entraînement, il « répare » généralement le sens sans effort. Ça consomme juste un peu plus de tokens.

Les emojis comptent-ils comme des tokens ?

Oui, et parfois plusieurs : un emoji est enregistré, côté machine, comme une petite séquence de briques élémentaires, et les moins courants se découpent en deux ou trois tokens. Même chose pour les caractères chinois, japonais ou les alphabets rares. C'est une conséquence directe du découpage par fréquence : ce qui est rare dans le corpus d'entraînement se paie en fragments.

Comment réduire ma facture de tokens ?

Quatre leviers concrets : des prompts plus concis (chaque mot répété se paie), un historique de conversation élagué plutôt qu'envoyé intégralement, des réponses bornées (les API proposent un réglage, max_tokens, qui coupe la sortie à la longueur choisie), et le cache de prompt quand vous renvoyez le même contexte — redoutable contre les préambules répétitifs. Et si vous servez des utilisateurs multilingues, budgétez le surcoût des langues autres que l'anglais.

Peut-on voir les tokens de son propre texte ?

Oui, en un clic : OpenAI propose un tokenizer en ligne (platform.openai.com/tokenizer) qui colore chaque token de votre texte et les compte. C'est le meilleur moyen de développer une intuition — collez-y une phrase française, une anglaise et un emoji, et les trois premières sections de cet article s'illustreront sous vos yeux.

Les tokens : comment une IA découpe votre texte

Depuis le début de « La plongée », je vous répète qu’une IA ne lit ni vos lettres, ni vos mots, mais des « tokens » — et je vous dois maintenant des explications complètes. Bienvenue au palier 3, celui du dictionnaire secret. Aujourd’hui, vous allez découvrir comment votre texte est réellement découpé, pourquoi ce découpage a été appris et non décidé, pourquoi il vous coûte de l’argent si vous utilisez ces modèles dans vos projets, et pourquoi l’innocente « fraise » est devenue le bizutage préféré des IA. Côté mathématiques, on monte d’un tout petit cran par rapport aux probabilités du palier 2 : il suffira de savoir compter des fréquences. Allez, on descend.

L’essentiel

Le vocabulaire d’un modèle récent compte environ 200 000 tokens ; chaque token a un numéro, et c’est ce numéro que la machine manipule.
1 token ≈ ¾ de mot anglais ≈ 4 caractères — c’est la règle de conversion donnée par OpenAI ; le français, l’allemand ou le japonais consomment plus de tokens que l’anglais à sens égal.
Le découpage n’a pas été décidé par un humain : il a été appris en comptant des fréquences (algorithme Byte Pair Encoding, BPE).
Les API d’IA (l’accès développeur aux modèles) facturent au million de tokens, et la « mémoire » d’une conversation (la fenêtre de contexte) se compte en tokens.
Vous pouvez visualiser le découpage de n’importe quel texte avec le tokenizer d’OpenAI — c’est le compagnon idéal de cet article.

Pourquoi les IA ne lisent-elles pas simplement des mots ?

Parce que les deux choix évidents sont mauvais. Lire lettre par lettre rend les textes interminables à traiter : chaque phrase devient une très longue séquence. Lire mot par mot exige un dictionnaire infini : noms propres, fautes de frappe, mots nouveaux, langues étrangères… Le token est le compromis appris entre les deux.

Posons le dilemme concrètement. Si le modèle lisait des lettres, « Pourquoi le ciel est bleu ? » ferait 27 signes — lettres, espaces et ponctuation — à traiter un à un — et notre boucle du palier 1, qui recalcule tout à chaque unité, deviendrait épouvantablement lente. Si le modèle lisait des mots entiers, que ferait-il de « Wooordpress » avec trois o, du verbe « googliser », ou d’un nom de molécule ? Un dictionnaire de mots est soit infini, soit troué — et un modèle qui tombe sur un trou est un modèle muet.

Le token résout les deux problèmes : les mots fréquents (« le », « maison », « the ») gagnent leur entrée entière, et tout le reste se découpe en fragments réutilisables.

Rien n’est jamais illisible : au pire, l’algorithme retombe sur les lettres une à une.

Comment l’algorithme BPE fabrique-t-il le dictionnaire ?

En comptant, patiemment. Mais avant de compter, il faut savoir dans quoi : le corpus d’entraînement, c’est l’immense bibliothèque de textes bien réels — pages web, livres, articles de presse, code — que les créateurs d’un modèle rassemblent pour le fabriquer. C’est là-dedans que le Byte Pair Encoding fait ses comptes (proposé pour la traduction automatique par Sennrich et ses collègues, il équipe depuis la plupart des grands modèles). Sa recette tient en une ligne : partir des caractères seuls, chercher la paire de voisins la plus fréquente, la souder en un nouveau fragment, recommencer — des dizaines de milliers de fois.

C’est la seule mécanique nouvelle du palier, alors déroulons-la pour de vrai. Un corpus réel pèse des téraoctets — l’équivalent de millions de livres ; réduisons le nôtre à une seule phrase, pour pouvoir compter à la main : « le chat lave le chaton ».

Au départ, tout est en caractères isolés. L’algorithme compte alors chaque paire de voisins : « l+e » apparaît 2 fois (les deux « le »), « c+h » 2 fois (« chat », « chaton »), « h+a » 2 fois, « a+t » 2 fois — toutes les autres, une seule. Quatre paires sont à égalité ; il en soude une, disons « c+h », qui devient le fragment « ch » partout. Il recompte : « ch+a » ressort, nouvelle fusion, et « cha » entre au dictionnaire. Voilà tout le secret — compter, souder, recompter. (Les égalités, inévitables sur cinq mots, sont rarissimes sur une bibliothèque entière.)

Le BPE sur un corpus jouet : aucune règle de grammaire, aucun linguiste — uniquement des fréquences. Le fragment « cha », partagé par « chat » et « chaton », émerge tout seul.

Le plus frappant chez cet algorithme, c’est son ignorance : il ne sait pas ce qu’est un mot, une syllabe ou une langue — il compte, et la structure du langage émerge du comptage. Appliqué à des téraoctets de textes réels, le BPE redécouvre nos préfixes (« anti », « re »), nos suffixes (« tion », « ment »), nos mots courants entiers, et les morceaux les plus utiles de dizaines de langues. C’est un avant-goût du grand thème de la série : personne ne programme le savoir de ces machines, on programme des méthodes pour qu’il émerge.

À quoi ressemble votre texte, vu par l’IA ?

À une suite de fragments numérotés, avec quelques surprises : les espaces appartiennent aux tokens (« chat » et « ·chat » — le point médian · représente l’espace — sont deux entrées différentes), les majuscules et les accents changent le découpage, et deux phrases de même longueur peuvent coûter du simple au double.

Prenez la phrase « J’adore les fraises du jardin ». Vue par le tokenizer, elle ressemble à ceci :

Ce que voit réellement le modèle : huit numéros. « fraises » n'existe pas d'un bloc — c'est « ·fra » + « ises ». Faites le test sur le tokenizer d'OpenAI, le découpage réel varie selon les modèles.

Trois détails de ce schéma valent le détour. L’espace n’est pas un séparateur, c’est une partie du token : « ·jardin » avec son espace initial. La casse change tout : « Bonjour », « bonjour » et « BONJOUR » sont trois découpages différents — c’est une des raisons pour lesquelles un texte EN MAJUSCULES peut être un peu moins bien traité. Et « fraises » est en deux morceaux, ce qui nous amène au bizutage promis.

Pourquoi ChatGPT échoue-t-il à compter les lettres de « fraise » ?

Parce qu’il ne voit pas de lettres. « fraise » lui parvient comme un ou deux blocs numérotés — des jetons opaques. Lui demander combien de lettres contient « fraise » (six — mais encore faut-il les voir), c’est comme vous demander combien il y a de traits de pinceau dans un tableau vu en photo : l’information existe en amont, mais pas dans ce qui arrive à vos yeux.

C’est LA réponse que je vous devais depuis le palier 1. Quand la question « combien de r dans strawberry ? » a fait le tour du monde — il y en a trois, et les meilleurs modèles n’en trouvaient que deux —, tout le monde a ri de la « bêtise » des IA — alors qu’elle révèle en réalité leur architecture. Le modèle n’a jamais eu accès aux lettres : demander un comptage de lettres, c’est l’interroger sur une réalité qu’il n’a littéralement jamais vue. S’il répond souvent juste quand même, c’est parce qu’il a lu des textes parlant de l’orthographe des mots — un savoir de seconde main, comme le vôtre sur les traits de pinceau de la Joconde.

La même explication éclaire toute une famille de maladresses : écrire des mots à l’envers, compter les syllabes, faire des anagrammes, respecter à la lettre un nombre de caractères imposé. À chaque fois que vous verrez une IA buter sur un jeu de lettres, vous pourrez maintenant murmurer : les tokens.

Pourquoi les tokens vous coûtent-ils de l’argent ?

Parce que le token est l’unité de compte du monde de l’IA : les fournisseurs ne facturent ni au mot ni à la page, mais au token traité — ceux que vous envoyez au modèle (l’« entrée ») comme ceux qu’il génère (la « sortie »), tarifés par million. Et comme le modèle relit l’échange entier avant chaque mot — c’est la boucle du palier 1 —, la « mémoire » d’une conversation, qu’on appelle la fenêtre de contexte, se mesure elle aussi en tokens ; nous y revenons en fin de section.

C’est ici que le sujet quitte la curiosité pour toucher au portefeuille, et je parle d’expérience : mes propres outils dialoguent avec ces modèles par leur API — l’accès direct que les fournisseurs vendent aux développeurs, sans passer par une application comme ChatGPT — et la facture en fin de mois est littéralement un compteur de tokens. Ça m’a appris quatre réflexes que je vous transmets :

Dégraisser les prompts répétitifs. Un préambule verbeux envoyé mille fois par jour, c’est un budget qui fond pour rien.
Borner les réponses. La sortie coûte plus cher que l’entrée — les tarifs arrivent juste en dessous : « réponds en trois phrases » est aussi une instruction d’économie.
Repartir d’une conversation neuve quand le sujet change. Une discussion-fleuve se paie de plus en plus cher à chaque message — vous allez voir pourquoi.
Surveiller la langue. Si vous me lisez en français, vous jouez en mode difficile : ce site vit en deux langues, et à instructions égales, mes prompts français consomment nettement plus de tokens que leurs équivalents anglais — le vocabulaire, taillé sur des corpus majoritairement anglophones, avantage l’anglais. L’anglais est la langue la moins chère à tokeniser ; le français, l’allemand ou le japonais paient une surtaxe pour le même sens — à savoir avant de budgéter un produit multilingue.

Cette surtaxe se mesure. Reprenons le chat du palier 2 dans une phrase anglaise de vingt mots — « The cat fell asleep on the old radiator because the living room was cold and the couch was already taken » — et passons ses variantes au tokenizer :

La même phrase de vingt mots, en tokens (ordres de grandeur)	Tokens
La version anglaise d’origine	~26
Sa traduction française	~35
Sa traduction japonaise	~40
La version anglaise truffée de fautes de frappe	~45

Combien coûtent ces tokens ? Prenons un tarif public réel, celui de Claude Sonnet, le modèle intermédiaire d’Anthropic — l’un des grands fournisseurs ; les ordres de grandeur sont comparables chez les concurrents. Mi-2026 : 3 dollars le million de tokens en entrée, 15 dollars le million en sortie — générer coûte cinq fois plus cher que lire, d’où le réflexe « borner les réponses ». À ce tarif, faire lire cet article entier au modèle revient à un centime ; un pavé comme Le Comte de Monte-Cristo, à deux dollars dans sa traduction anglaise — et environ deux dollars et demi dans l’original français, surtaxe du français oblige.

Un piège, tout de même : ces dollars ne sont pas payés une fois pour toutes. Chaque nouvelle réponse repasse tout l’échange en entrée — roman compris. Posez dix questions sur Monte-Cristo dans la même conversation, et le livre est refacturé dix fois. Les fournisseurs amortissent cela avec le « cache de prompt » — les tokens déjà vus sont refacturés à une fraction du prix, environ un dixième chez Anthropic — mais le réflexe de la conversation neuve garde tout son sens.

Reste la fenêtre de contexte, promise en début de section. C’est le plafond de cette mémoire : votre échange entier — questions, réponses, documents collés — doit tenir dans un budget de tokens fixé par le modèle. Les modèles à grande fenêtre actuels acceptent jusqu’à un million de tokens — de quoi tenir tout Monte-Cristo ; les plus compacts, nettement moins.

Que se passe-t-il si la conversation déborde malgré tout ? Le début de l’échange sort silencieusement de la fenêtre. Si une longue conversation semble « oublier » vos premières instructions, ce n’est pas de la distraction : c’est un budget de tokens épuisé.

Où en est la plongée ?

Trois paliers d’explorés : le voyage du message, la loterie des probabilités, et maintenant le découpage en tokens. Regardons la jauge avant de poursuivre la descente.

Trois paliers, et déjà de quoi expliquer la moitié des bizarreries des IA à vos proches. La suite descend dans la mécanique interne.

Prêt(e) à descendre au palier 4 ?

Récapitulons : votre texte devient une suite de fragments numérotés, découpés par un algorithme qui a appris son dictionnaire en comptant des fréquences. Ni lettres, ni mots : des tokens — voilà pourquoi les IA jonglent avec les dissertations et trébuchent sur « fraise ».

Mais avouez qu’il reste un mystère, et il est énorme : le token « ·jardin » porte le numéro 28 960. Un numéro. Comment diable un numéro peut-il « savoir » qu’un jardin est plus proche d’un potager que d’un embouteillage ? C’est le sujet du palier 4, les embeddings — celui où les nombres se mettent à porter du sens, avec la découverte la plus célèbre du domaine : roi − homme + femme ≈ reine. L’article arrive la semaine prochaine.

D’ici là, jouez avec le tokenizer d’OpenAI, et si vous prenez la série en route, commencez par le palier 1. Les commentaires sont ouverts, dans l’écoute et la bienveillance — vos questions nourrissent les paliers suivants.

– blaminhor