Température, probabilités : comment l'IA choisit ses mots

Bienvenue au palier 2 de « La plongée ». Au palier 1, nous avons suivi le voyage complet de votre message : direction le centre de données, découpage en tokens — ces fragments de mots qui servent d’unités de lecture au modèle —, et cette boucle qui fabrique la réponse mot après mot. Mais j’ai laissé une porte entrouverte : à chaque tour de boucle, le modèle ne « choisit » pas vraiment un mot — il tire au sort. Aujourd’hui, on descend regarder cette loterie de près. À la fin de cet article, vous saurez pourquoi une IA réglée trop « sage » radote, pourquoi une IA trop « chaude » part en vrille, et ce que fait précisément ce mystérieux réglage que les développeurs appellent la température. Une seule notion de maths au programme, promis : le pourcentage. On s’équipe, on descend !

L’essentiel

• Avant chaque mot, le modèle produit une liste de pourcentages qui somment à 100 % : la distribution de probabilités.
• Prendre systématiquement le mot le plus probable produit des textes plats qui tournent en boucle — un défaut documenté par la recherche sous le nom de dégénérescence du texte (Holtzman et al., 2019).
• La température déforme la liste avant le tirage : à 0, le modèle reprend presque toujours le mot le plus probable ; au maximum, le choix devient presque aléatoire. Le maximum dépend du fournisseur : 2 chez OpenAI, 1 chez Anthropic.
• Réglable via l’API (l’accès développeur) et le Playground (sa console d’essai en ligne), pas dans l’application ChatGPT.
• Palier 2 de la série « La plongée » — une seule notion mathématique : le pourcentage.

C’est quoi, une probabilité, pour une machine qui écrit ?

C’est un pari chiffré. Avant chaque mot, le modèle attribue à chaque token de son vocabulaire un nombre entre 0 et 100 %, et l’ensemble de ces nombres somme exactement à 100 % : c’est ce qu’on appelle une distribution de probabilités. Générer un mot, c’est tirer au sort dans cette distribution.

Et c’est là que le palier 1 prend tout son relief : la boucle qui écrit votre réponse n’est pas une chaîne de décisions, c’est une chaîne de pioches dans des sacs recomposés à chaque mot. Chaque jeton pioché change la composition de tous les sacs suivants.

D’où sortent ces pourcentages ?

De l’entraînement. Le modèle a passé des mois à ajuster ses centaines de milliards de paramètres pour que ses paris collent au mieux aux textes réels qu’on lui montrait. Mais attention : il ne compte pas des phrases stockées — il a appris à généraliser, et c’est toute la différence.

Le réflexe naturel, c’est d’imaginer un immense comptage : « dans tous les textes du web, après la capitale de la France est, on trouve Paris 96 fois sur 100 ». C’est une bonne intuition de départ… et elle est fausse dans un détail crucial. Prenez cette phrase : « Le chat s’est endormi sur le ». Elle est banale, mais il y a de fortes chances qu’aucun texte de l’entraînement ne la contienne exactement — les combinaisons possibles de mots dépassent de très loin tout ce qui a jamais été écrit. Et pourtant le modèle propose sans hésiter « canapé », « radiateur », « clavier »…

Comment ? Parce qu’il a généralisé depuis des millions de phrases voisines : des chats qui dorment, des choses posées « sur le », des radiateurs douillets. Ses pourcentages ne sont pas des souvenirs, ce sont des synthèses — c’est pour ça qu’il répond du tac au tac à des phrases que personne n’a jamais écrites. Comment cette synthèse s’installe physiquement dans les paramètres, c’est le grand sujet du palier 7 ; pour l’instant, retenez simplement que le sac de jetons est fabriqué, pas photocopié.

Pourquoi ne pas toujours prendre le mot le plus probable ?

Parce que ça produit des textes morts. Si le modèle prenait systématiquement le candidat n° 1, ses réponses seraient rigides, plates — et surtout, elles finiraient par tourner en boucle. Ce défaut est si connu que les chercheurs lui ont donné un nom : la dégénérescence du texte.

L’objection vient toute seule, et elle est parfaitement logique : « s’il connaît le meilleur mot, qu’il le prenne ! ». Sauf que voilà ce qui arrive réellement quand on essaie — les chercheurs ont documenté ce phénomène, et voici le genre de texte que ça donne :

Je vous remercie de votre confiance. Je vous remercie de votre confiance. Je vous remercie de votre confiance.

Le mécanisme de cette spirale est d’une logique perverse : une fois qu’une phrase a été écrite deux fois, la réécrire une troisième devient encore PLUS probable — la répétition se nourrit d’elle-même. Le texte le plus « probable » mot à mot n’est pas le texte le plus naturel dans son ensemble ; c’est un paradoxe, mais nos vraies phrases humaines réservent régulièrement des surprises, des mots un peu moins attendus qui font tout leur sel. Un texte qui ne surprend jamais ne ressemble à rien de ce qu’on écrit vraiment.

D’où le tirage au sort : en laissant régulièrement leur chance aux candidats n° 2, n° 5 ou n° 12, on obtient des textes vivants. Reste à doser ce hasard — et c’est exactement le travail de la température.

La température : le bouton qui règle l’audace du tirage

La température déforme la distribution avant le tirage. Basse, elle creuse les écarts : le favori écrase tout, le modèle devient prévisible. Haute, elle resserre les écarts : les outsiders retrouvent une vraie chance, le modèle devient audacieux — puis incohérent si l’on pousse trop. Sur l’échelle d’OpenAI, ça va de 0 à 2 ; chez Anthropic (Claude), de 0 à 1 — même curseur, graduations différentes.

Le nom vient de la physique (l’agitation des particules augmente avec la chaleur), mais l’image du quotidien marche très bien : c’est le curseur entre le collègue qui répond toujours la même chose et celui qui part dans tous les sens. Regardez ce que la température fait, concrètement, à notre sac de jetons — rempli, cette fois, pour la phrase du palier 1 « Ce week-end, j’ai envie de… » :

Techniquement, il n’y a rien de magique : avant de convertir les scores du modèle en pourcentages, on les divise par la température — ce qui creuse les écarts quand elle est petite, et les gomme quand elle est grande. (La vraie machinerie de cette conversion, le fameux « softmax », vous l’aurez avec son calcul au palier 6 — chaque chose à son palier.)

Comment je règle la température dans mes propres projets

C’est un réglage que je manipule concrètement chaque semaine : mes outils appellent ces modèles par leur API, là où le curseur est accessible. Et ma règle tient en une phrase : la température suit la tolérance à la surprise de la tâche. Plus la tâche exige de fiabilité, plus je baisse le curseur ; plus elle réclame des idées neuves, plus je le monte.

Un exemple vécu qui m’a bien servi de leçon : un de mes scripts extrayait des informations de textes pour les ranger en JSON (des données structurées). Réglé à la température par défaut, il me renvoyait des résultats légèrement différents à chaque exécution — parfois un champ formulé autrement, parfois une catégorie voisine. Impossible à tester sérieusement. Température à 0 : le script est devenu reproductible du jour au lendemain — même entrée, même sortie. À l’inverse, quand je cherche des angles d’articles ou des noms de projets, je monte le curseur : c’est précisément la surprise que je viens chercher.

Tâche	Température (échelle OpenAI, 0–2)	Pourquoi
Extraction de données, classification	0 – 0,2	Reproductible, testable — la surprise est un bug
Génération de code	0 – 0,3	Une seule bonne syntaxe, pas besoin d’audace
Réponse factuelle, support client	0,2 – 0,5	Stable, avec un minimum de variété de formulation
Rédaction assistée	0,6 – 0,9	Du naturel et du rythme, sans partir en vrille
Brainstorming, fiction	1 – 1,3	La surprise est exactement ce qu’on achète

Deux précisions pour finir. D’abord, l’échelle dépend du fournisseur : 0 à 2 chez OpenAI, 0 à 1 chez Anthropic — vérifiez la documentation avant de transposer mes chiffres. Ensuite, dans l’application ChatGPT, ce curseur ne vous est pas proposé : OpenAI l’a réglé pour vous. Mais vous pouvez obtenir un effet cousin par le prompt — « réponds de façon strictement factuelle » ou « propose-moi des idées inattendues » déplacent les probabilités dans la même direction, avec les moyens du bord du palier 1 : en changeant le début du document que le modèle prolonge.

Où en est la plongée ?

Palier 2 exploré : vous savez désormais que chaque mot d’une IA sort d’une loterie truquée dont la température règle l’audace. Combiné au palier 1 — le voyage du message et la boucle de prédiction — vous avez déjà une vision du comportement complet de la machine.

Prêt(e) à descendre au palier 3 ?

Résumons ce palier : à chaque mot, une distribution de probabilités, un tirage au sort, et un curseur — la température — qui décide si le tirage est sage ou audacieux. Ni pensée, ni plan : une loterie truquée avec un immense talent pour truquer.

Mais au fait… ces « tokens » qu’on tire au sort depuis deux articles, pourquoi ne sont-ils pas simplement des mots ? Pourquoi « anticonstitutionnellement » coûte-t-il plus cher à traiter que « chat » ? Et pourquoi demander à ChatGPT de compter les lettres de « fraise » le met-il en difficulté, alors qu’il rédige des dissertations ? Au palier 3, on ouvre le dictionnaire secret des IA — et vous ne verrez plus jamais un texte comme avant. L’article arrive la semaine prochaine.

D’ici là, relisez le palier 1, le voyage de votre message si vous prenez la série en cours de route — chaque palier s’appuie sur les précédents. Et comme toujours, les commentaires sont ouverts, dans l’écoute et la bienveillance : vos questions nourrissent directement les paliers suivants.

– blaminhor