Les embeddings : quand les nombres portent du sens

Au palier 3, nous avons laissé la plongée sur un mystère que je vous dois : le token « ·jardin » porte le numéro 28 960 — un bête numéro d’entrée dans un dictionnaire. Comment un numéro peut-il « savoir » qu’un jardin ressemble à un potager, qu’on y trouve des fraises (entières, cette fois) et qu’il n’a rien à voir avec un embouteillage ? Bienvenue au palier 4 : celui des embeddings, où le sens devient littéralement de la géométrie. C’est aussi le palier du contrat que je vous ai fait au premier article : à la fin de celui-ci, vous aurez un modèle mental juste de ce qu’est une IA — plus juste que l’immense majorité de ce qui s’écrit sur le sujet. Côté maths, on monte d’un cran, en douceur : des coordonnées, comme sur une carte.

L’essentiel

• Un embedding = une liste de nombres = les coordonnées d’un point ; chaque token du vocabulaire a le sien.
• Ces espaces comptent des centaines à des milliers de dimensions (12 288 pour GPT-3, 16 384 pour Llama 3.1 405B).
• La position n’est pas programmée : elle est apprise pendant l’entraînement, en observant quels mots s’emploient dans les mêmes contextes.
• La découverte fondatrice (word2vec, 2013) : des directions de l’espace encodent des relations — genre, capitale, conjugaison.
• Les embeddings servent bien au-delà des chatbots : recherche sémantique, recommandations, détection de doublons, RAG.

Comment un numéro de token peut-il porter du sens ?

Il ne le peut pas — c’est tout le problème. Le numéro 28 960 est arbitraire : le token 28 961 n’a aucune raison d’être son cousin. La solution des chercheurs : remplacer chaque numéro par une fiche de caractéristiques chiffrées, une liste de nombres qui décrit le token — et cette liste, c’est l’embedding.

Les vrais embeddings font exactement ça, avec deux différences de taille. D’abord, pas trois axes mais des milliers — 12 288 dimensions pour GPT-3 (OpenAI, 2020), 4 096 pour Mistral 7B (Mistral AI, 2023), 7 168 pour DeepSeek-V3 (DeepSeek, 2024), 16 384 pour Llama 3.1 405B (Meta, 2024). Les modèles fermés récents — GPT-4, Claude, Gemini — ne publient plus ce chiffre, mais l’ordre de grandeur reste le même : de quoi encoder des nuances que nos trois questions naïves écrasent. Ensuite — et c’est le point clé : personne ne choisit les axes. Aucun humain n’a décrété un axe « comestible ». Les dimensions émergent de l’entraînement, et la plupart ne correspondent à aucun concept nommable — on y reviendra plus bas.

À quoi ressemble la carte du sens ?

À des constellations : les mots de même famille sémantique forment des amas — les animaux ensemble, les véhicules ensemble, les lieux de culture potagère ensemble. Voici une projection en deux dimensions, l’ombre très écrasée d’un espace qui en compte des milliers :

Prenez une seconde pour mesurer ce que ce schéma accomplit : « proche » et « lointain » — des notions purement géométriques — se sont mises à vouloir dire « synonyme » et « sans rapport ». Quand une IA « comprend » que votre question sur les fraisiers relève du jardinage, il ne se passe rien de mystique : des points sont voisins dans un espace. Le token n° 28 960 ne sait toujours rien ; mais sa position, elle, dit tout.

Roi − homme + femme ≈ reine : que dit vraiment cette équation ?

Que les relations entre les mots sont des directions de l’espace. Le déplacement qui mène de « homme » à « roi » — appelons-le « prendre la couronne » — est presque le même que celui qui mène de « femme » à « reine ». En 2013, l’équipe de word2vec a montré qu’on pouvait faire cette arithmétique sur les mots, et le domaine entier a changé.

Et ça ne s’arrête pas à la royauté. Les mêmes flèches existent pour les capitales — partez de « Paris », retirez « France », ajoutez « Italie » : vous atterrissez près de « Rome ». Pour la conjugaison : « marchait » est à « marcher » ce que « chantait » est à « chanter ». Pour les tailles, les féminins, les nationalités… L’espace n’a pas seulement rangé les mots par famille : il a aligné les relations elles-mêmes, sans qu’on le lui demande.

Cette arithmétique n’est pas infaillible — d’où le « ≈ » que je m’oblige à écrire. Elle échoue sur les relations rares, et les embeddings héritent aussi des associations douteuses de leurs corpus (des biais bien documentés — on en reparlera au palier 8). Mais comme intuition de ce que « comprendre » veut dire pour une machine, rien ne l’a jamais égalée.

Qui décide de la position de chaque mot ?

Personne — et c’est le plus vertigineux. Les coordonnées sont des paramètres du modèle, ajustés des millions de fois pendant l’entraînement pour améliorer la prédiction du mot suivant. Les mots interchangeables dans les phrases se retrouvent mécaniquement voisins : la carte s’auto-organise.

Le mécanisme tient en une observation que les linguistes ont faite bien avant les machines : on reconnaît un mot à ses fréquentations. « Café », « thé » et « jus » apparaissent dans les mêmes phrases — « je bois un ___ le matin », « une tasse de ___ », « ce ___ est trop chaud ». Un modèle entraîné à prédire le mot manquant a donc tout intérêt à leur donner des coordonnées proches : ce qu’il apprend sur l’un resservira pour les autres.

Reste à voir un de ces fameux ajustements en action. Au premier jour de l’entraînement, les coordonnées sont tirées au hasard : la carte n’est qu’un nuage informe, où « thé » loge peut-être entre « camion » et « jalousie ». Le modèle lit « je bois un ___ le matin », parie au petit bonheur — mettons « lampadaire », rien ne l’en empêche encore — puis découvre la bonne réponse. La correction est immédiate et minuscule : les coordonnées qui ont contribué à ce pari raté sont déplacées d’un cheveu, dans la direction qui aurait rendu « thé » un peu plus crédible. C’est tout — un point qui glisse imperceptiblement sur la carte. Mais multipliez ce geste par des milliers de milliards de phrases, et les boissons s’agglomèrent, les métiers s’agglomèrent, les émotions s’agglomèrent — la carte du sens émerge du simple fait d’être utile à la prédiction. Quant à savoir comment la machine calcule la direction et la taille de chaque poussée — vers où glisser, et de combien —, c’est le grand récit du palier 7.

Vous vous souvenez du palier 3, où le BPE découvrait nos préfixes en comptant ? Même philosophie, un étage plus haut : on ne programme pas le savoir, on programme les conditions de son émergence.

À quoi ressemblent les embeddings dans la vraie vie ?

À la brique la plus réutilisée de toute l’IA moderne. Dès que vous croisez une recherche qui comprend ce que vous vouliez dire, une suggestion pertinente ou un « articles similaires » qui vise juste, il y a de fortes chances que des embeddings travaillent en coulisses.

Un exemple concret dont je me sers au quotidien, comme créateur de sites : en SEO, un piège discret et sous-estimé s’appelle la cannibalisation — deux articles qui, sans le savoir, visent la même intention de recherche. On croit prendre deux places sur Google ; en réalité on le force à hésiter entre ses deux pages, on dilue leurs signaux, et aucune des deux ne monte aussi haut qu’une page unique et solide. Comparer les embeddings des sujets me donne un détecteur : si deux titres de ma liste d’articles ont des points trop voisins dans l’espace, c’est qu’ils racontent la même chose — et qu’il faut fusionner plutôt que publier deux fois. Chercher par le sens plutôt que par les mots-clés, c’est exactement la promesse tenue de ce palier.

Similarité entre deux textes (illustrative, de 0 à 1)	Score
« chaussures de course » ↔ « baskets pour le running »	0,91
« recette de tarte aux fraises » ↔ « dessert aux fruits du jardin »	0,74
« recette de tarte aux fraises » ↔ « résilier son abonnement mobile »	0,08
« le chat dort » ↔ « le félin sommeille »	0,88
« le chat dort » ↔ « the cat is sleeping »	0,85

La dernière ligne du tableau mérite un arrêt : les modèles multilingues placent « le chat dort » et sa traduction anglaise au même endroit de l’espace. Le point n’encode pas des mots : il encode une idée — la langue n’est plus qu’un habillage.

Où en est la plongée ?

Prêt(e) à descendre au palier 5 ?

Faisons le point sur le modèle mental, car il est désormais complet côté « matière première » : votre texte devient des tokens (palier 3), chaque token devient un point dans un espace où la géométrie porte le sens (ce palier), et une boucle prédit le mot suivant en produisant des probabilités (paliers 1 et 2). Vous savez ce qui entre, ce qui circule et ce qui sort. Il ne manque plus que le moteur.

Car entre l’embedding qui entre et la probabilité qui sort, il se passe quelque chose — le « grand calcul » que je vous dessine en boîte bleue depuis le palier 1. Au palier 5, on l’ouvre enfin : vous y rencontrerez le neurone artificiel, ses poids, ses couches — et la première vraie équation de la série, si simple que vous vous demanderez pourquoi on en fait tout un plat. L’article arrive la semaine prochaine.

Si vous prenez la série en route, tout commence au palier 1, le voyage de votre message. Et les commentaires restent ouverts, dans l’écoute et la bienveillance — plusieurs questions de lecteurs ont déjà infléchi les paliers à venir.

– blaminhor