Comment fonctionne ChatGPT ? Le voyage de votre message

Vous avez forcément déjà vécu cette scène : vous posez une question à ChatGPT, et la réponse s’écrit toute seule, mot après mot, comme si quelqu’un tapait à toute vitesse de l’autre côté de l’écran. Un jour, je me suis demandé ce qui se passait réellement pendant ces quelques secondes. La réponse est plus simple que tout ce que j’imaginais — une machine qui parie sur le mot suivant, des dizaines de fois par seconde — et bien plus vertigineuse aussi. Cet article ouvre une série que j’ai appelée « La plongée » : huit paliers pour descendre, article après article, jusqu’au cœur mathématique des IA. Ici, on reste à la surface : aucune équation, promis. Juste le voyage complet de votre message. Masque, tuba : on y va !

L’essentiel

• ChatGPT ne cherche pas votre réponse dans une base de données : il la calcule, mot après mot.
• Chaque mot affiché résulte d’un calcul de probabilités sur environ 200 000 tokens possibles (le dictionnaire des modèles récents d’OpenAI).
• Les grands modèles de langage (les programmes d’IA comme celui derrière ChatGPT) comptent des centaines de milliards de paramètres — les petits nombres réglables où se loge tout ce que le modèle a appris — et ont été entraînés sur des milliers de milliards de mots — plus de 15 000 milliards de tokens pour Llama 3 de Meta, par exemple.
• Le texte qui défile à l’écran n’est pas un effet de style : c’est le calcul, affiché en direct.
• Cet article est le palier 1 de la série « La plongée » — la carte complète des huit paliers est en fin d’article.

Où part votre message quand vous appuyez sur Entrée ?

Votre message ne reste ni dans votre téléphone ni dans votre ordinateur : il voyage, via votre navigateur ou l’application, jusqu’à un centre de données — un bâtiment rempli de serveurs équipés de processeurs graphiques (GPU). C’est là, et seulement là, que ChatGPT « existe » et calcule sa réponse.

Une salle de serveurs Microsoft — c’est dans ce type d’allées que ChatGPT calcule ses réponses. Photo : Microsoft.

C’est le premier réflexe à corriger : l’intelligence n’est pas dans votre appareil. Votre téléphone joue le même rôle que lorsqu’il affiche un site web : il envoie une requête à un serveur distant et affiche ce qui revient. Toute la magie se passe de l’autre côté, dans des salles climatisées où des dizaines de milliers de machines calculent jour et nuit.

Filons la métaphore de la plongée, elle va nous accompagner pendant huit articles : votre écran, c’est la surface de l’eau. Tout ce qui compte se passe en dessous. Et la première chose qu’on croise en descendant, ce sont ces fameux GPU.

Comment une machine peut-elle lire votre phrase ?

Elle ne la lit pas comme vous : votre texte est d’abord découpé en tokens, des fragments de mots (« incroyable » devient par exemple « incroy » + « able »), puis chaque token est remplacé par des nombres. À partir de là, la machine ne manipule plus jamais de lettres — uniquement des nombres.

Un ordinateur ne sait rien faire d’autre que calculer. Pour qu’un texte y entre, il faut donc le transformer en quelque chose de calculable. Le découpage en tokens est la première étape de cette transformation. Le « modèle », c’est le nom du programme d’IA lui-même — celui à qui vous parlez à travers ChatGPT. Un modèle récent possède un dictionnaire fixe d’environ 200 000 fragments de texte, chacun rangé sous un numéro, et votre message est réécrit avec ces fragments-là. Pour la machine, « bonjour » n’est pas un mot : c’est quelque chose comme l’entrée n° 21 437 de cet immense dictionnaire. Vous pouvez d’ailleurs voir votre propre texte se faire découper sur l’outil officiel d’OpenAI — faites le test avec une de vos phrases.

Retenez cette idée, car elle explique une foule de comportements étranges de ChatGPT : l’IA ne voit jamais vos lettres, ni même vos mots. C’est pour ça, par exemple, que compter les lettres d’un mot la fait parfois transpirer : elle ne voit pas f-r-a-i-s-e, elle voit un ou deux tokens, des blocs opaques. Nous consacrerons tout le palier 3 à ce découpage, et le palier 4 à la question qui en découle : comment de simples nombres peuvent-ils porter du sens ?

Que fait vraiment ChatGPT pour fabriquer sa réponse ?

Une seule chose, répétée en boucle : prédire le mot suivant. Pour le premier mot, le modèle ne dispose que de votre message : il calcule la probabilité de chaque token possible, en choisit un, l’écrit. Puis il reprend le tout — votre message plus ce qu’il vient d’écrire — et recommence. La réponse entière naît de cette boucle, un fragment à la fois.

C’est le cœur de tout, alors prenons le temps de bien le regarder :

Oui, vous avez bien lu : il n’y a pas de brouillon, pas de plan caché, pas de réponse rédigée en coulisses puis dévoilée avec un effet de machine à écrire. Quand les mots apparaissent un à un à l’écran, vous ne regardez pas une animation : vous regardez le calcul se faire, en temps réel. Chaque mot affiché vient d’être choisi, à l’instant, parmi des dizaines de milliers de candidats.

La première fois que j’ai compris ça, j’ai repensé à toutes mes conversations avec ChatGPT différemment. La machine ne « sait » pas où elle va : elle avance mot après mot, et chaque mot choisi devient une contrainte pour tous les suivants. Un funambule qui inventerait son fil au fur et à mesure qu’il marche dessus.

Pourquoi un simple « prédicteur de mots » paraît-il si intelligent ?

Parce que bien prédire exige d’avoir beaucoup absorbé. Pour deviner le mot suivant d’un diagnostic médical, il faut « connaître » la médecine ; pour compléter un raisonnement, il faut suivre le raisonnement. En apprenant à prédire sur des milliers de milliards de phrases, le modèle a été forcé d’intégrer la structure du monde que ces phrases décrivent.

C’est LA question que tout le monde se pose à ce stade. « Prédire le mot suivant », dit comme ça, ressemble aux suggestions de votre clavier de téléphone — et franchement, elles ne brillent pas. Alors, quoi ?

Le jeu est toujours le même — deviner la suite — mais le savoir qu’il exige n’a aucune limite. C’est le piège dans lequel le modèle est tombé pendant son entraînement, et c’est un piège fécond.

Imaginez un ami qui aurait passé des années à s’entraîner à un seul jeu : finir les phrases des autres. Pas seulement les vôtres : celles d’un médecin en pleine consultation, d’une avocate qui rédige ses conclusions, d’un développeur qui écrit du code, d’un poète. Pour finir correctement la phrase d’un médecin, notre ami est obligé d’apprendre de la médecine. Pour finir un calcul, il est obligé d’apprendre à calculer. Au bout de milliers de milliards de phrases, dire qu’il « ne fait que compléter du texte » reste techniquement vrai — mais ne décrit plus du tout l’étendue de ce qu’il a dû apprendre pour y arriver.

Et soyons honnêtes jusqu’au bout : est-ce que ça s’appelle « comprendre » ? Les chercheurs eux-mêmes en débattent, et je me garderai bien de trancher un débat qui divise les meilleurs d’entre eux. Ce qu’on sait décrire précisément, c’est le mécanisme — et c’est déjà beaucoup. Notez au passage un point qui étonne toujours : ce savoir n’est stocké nulle part sous forme lisible. Il n’y a aucun fichier « Wikipédia » dans le modèle, aucune fiche, aucune base de données : tout est dilué dans des centaines de milliards de paramètres, ces petits nombres ajustés pendant l’entraînement. Nous irons voir ça de près aux paliers 5 et 7.

Pourquoi ChatGPT ne répond-il jamais deux fois la même chose ?

Parce qu’à chaque mot, le modèle ne produit pas une réponse unique mais une liste de candidats avec leurs probabilités — et qu’il tire au sort parmi les meilleurs. Posez deux fois la même question : les premiers tirages diffèrent, et chaque mot choisi modifie tous les calculs suivants.

Vous l’avez sûrement remarqué : la même question, posée deux fois, donne deux réponses différentes. Ce n’est ni un bug ni du grand mystère, c’est une conséquence directe de ce qu’on vient de voir. Regardez ce qui sort réellement du « grand calcul » :

Sur « la capitale de la France est… », le modèle est quasiment sûr de lui : « Paris » écrase tout. Mais sur une phrase ouverte, les probabilités s’étalent — et plutôt que de prendre systématiquement le premier candidat (ce qui donnerait des textes rigides et répétitifs), le modèle tire au sort parmi les plus probables, comme on lancerait un dé subtilement pipé. Deux conversations, deux tirages, deux réponses.

Et il y a un effet boule de neige : comme chaque mot choisi entre dans le calcul de tous les suivants, un seul tirage différent au début peut faire bifurquer toute la réponse. Reprenez le schéma ci-dessus : si le tirage donne « dormir », la suite la plus probable s’engage vers « jusqu’à midi, sans culpabiliser » ; s’il donne « voyager », la voilà partie vers « quelques jours en Italie ». Deux mots tirés au sort, deux phrases qui ne se recroiseront jamais. Ce hasard est d’ailleurs réglable — les développeurs le connaissent sous le nom de « température » — et c’est exactement ce qu’on décortiquera au palier 2.

Ce qui a changé pour moi le jour où la boîte noire s’est ouverte

Je passe aujourd’hui mes journées à travailler avec ces modèles — j’y développe mes projets, j’y construis mes outils, et ce site lui-même en bénéficie largement. Pourtant, pendant longtemps, je leur parlais comme à un moteur de recherche : des mots-clés, une demande sèche, et je croisais les doigts.

Comprendre la mécanique de cet article a tout changé dans ma pratique. Puisque le modèle ne fait que continuer un texte de la façon la plus probable, alors mon message n’est pas une commande : c’est le début d’un document que la machine va prolonger. Et là, tout s’éclaire :

• Donner du contexte fonctionne, parce qu’un document qui commence par un contexte riche a des suites bien plus précises qu’une question sèche.
• Donner des exemples fonctionne, parce que le modèle prolonge le motif : montrez-lui deux reformulations dans le style voulu, la troisième suivra le même moule.
• Donner un rôle fonctionne (« tu es un relecteur exigeant… »), parce que cela déplace les probabilités vers les textes que ce genre d’expert aurait écrits.

Un exemple tout bête, vécu en écrivant pour ce site : « corrige ce texte » me renvoyait des corrections scolaires qui aplatissaient mon ton oral. Le jour où j’ai écrit « tu es relecteur pour un blog au ton oral et chaleureux ; corrige uniquement l’orthographe et la grammaire, sans reformuler », le résultat a changé du tout au tout. Même modèle, même texte — mais le début du document n’était plus le même, donc les suites probables non plus.

Et dans l’autre sens, j’ai appris la prudence : une réponse formulée avec un aplomb parfait reste une suite de mots probables. Sur un fait pointu, une date, une référence, l’assurance du ton ne garantit rigoureusement rien — nous y reviendrons en profondeur au palier 8.

Ce qu’on imagine, et ce qui se passe vraiment

Ce qu’on imagine	Ce qui se passe vraiment
ChatGPT cherche la réponse dans une base de données	Rien n’est stocké tel quel : la réponse est calculée, mot après mot
Il rédige sa réponse, puis l’affiche joliment	Il n’y a pas de brouillon : chaque mot est choisi en direct, sous vos yeux
Il lit le français comme nous	Il ne voit ni lettres ni mots : uniquement des tokens convertis en nombres
Il apprend de notre conversation	Le modèle est figé après entraînement ; votre discussion ne le modifie pas
Il est connecté à Internet en permanence	Son savoir date de son entraînement ; la recherche web est un outil séparé

À quoi ressemble la suite de la plongée ?

La série « La plongée » compte huit paliers, du plus accessible au plus profond : les probabilités, les tokens, les embeddings, les neurones artificiels, le mécanisme d’attention, l’entraînement, puis la remontée par les données et les hallucinations. Chaque article ne suppose que les précédents, et la difficulté monte d’un cran à la fois.

Mon objectif avec cette série est simple, et je vous le donne comme un contrat : au palier 4, vous aurez un modèle mental juste de ce qu’est une IA — bien plus juste que la plupart des articles qu’on lit sur le sujet. Au palier 8, vous serez capable de comprendre de quoi parle « Attention Is All You Need », le papier de recherche de 2017 qui a lancé toute cette révolution. Et à chaque palier, des schémas plutôt que du jargon.

Prêt(e) à descendre au palier 2 ?

Résumons la surface : votre message part dans un centre de données, devient des nombres, et une boucle choisit chaque mot de la réponse en calculant des probabilités. C’est tout — et c’est vertigineux.

Au palier 2, on ouvre justement la partie la plus intrigante de ce mécanisme : ces fameuses probabilités. Pourquoi tirer au sort plutôt que prendre le meilleur mot ? C’est quoi, exactement, cette « température » ? Et pourquoi un modèle réglé trop « sage » devient-il ennuyeux, quand un modèle trop « chaud » part en vrille ? L’article arrive la semaine prochaine.

Des questions sur ce premier palier ? Une notion que vous aimeriez voir traitée dans la suite de la série ? Les commentaires sont là pour ça, dans l’écoute et la bienveillance — vos questions nourriront directement les prochains articles.

– blaminhor