Neurones artificiels : le grand calcul d'une IA expliqué

Depuis le palier 1, je vous dessine le cœur de l’IA comme une boîte bleue étiquetée « le grand calcul ». Aujourd’hui, on l’ouvre. Bienvenue au palier 5, la salle des machines de « La plongée » : celui où vous rencontrez enfin le neurone artificiel, ses poids, ses couches — et la première véritable équation de la série. Je vous vois pâlir : promis, elle tient sur une ligne, elle ne contient que des multiplications et des additions, et vous allez même la calculer de tête. La brique de base d’une IA est simple ; ce qui est vertigineux, c’est le nombre. Allez, on pousse la porte.

L’essentiel

• Un neurone artificiel ne fait que multiplier, additionner, filtrer — l’équation tient sur une ligne.
• Les poids (l’importance de chaque connexion) sont les fameux paramètres : GPT-3 en compte 175 milliards sur 96 couches, Llama 3.1 405B de Meta 405 milliards sur 126 couches.
• Tout le savoir du modèle vit dans ses poids — il n’y a rien d’autre à l’intérieur : pas de règles, pas de textes stockés.
• Une couche = un immense tableau de poids (une matrice) ; le travail des GPU, c’est de multiplier ces tableaux à toute vitesse.
• L’inspiration biologique est réelle mais lointaine : un neurone artificiel est un objet mathématique, pas une copie du cerveau.

À quoi ressemble un neurone artificiel, concrètement ?

À une pesée d’arguments. Le neurone reçoit des nombres, multiplie chacun par un poids qui traduit son importance — positive ou négative —, additionne le tout, ajoute son biais, et sort un nombre unique. Voici l’équation promise :

sortie = (x₁ × w₁) + (x₂ × w₂) + (x₃ × w₃) + b

Donnons un métier à notre neurone : décider s’il fait bon jardiner. Il examine trois choses, chacune notée de 0 (pas du tout) à 1 (à fond) :

• x₁, x₂, x₃, les entrées — ce que le neurone reçoit à évaluer. Ici, trois relevés météo : l’ensoleillement (x₁ = 0,9 un jour de grand soleil), la pluie (x₂ = 0,1, quelques gouttes), la douceur de l’air (x₃ = 0,8). Ces nombres ne tombent pas du ciel : dans une vraie IA, ce sont les coordonnées de l’embedding du palier 4 — les nombres qui représentent votre mot.
• w₁, w₂, w₃, les poids (de l’anglais weight) — l’importance, apprise pendant l’entraînement, que le neurone accorde à chaque entrée. Le soleil encourage fort (w₁ = +0,7) ; la pluie disqualifie, son poids est donc négatif (w₂ = −0,8) ; la douceur aide un peu (w₃ = +0,4). Chaque entrée a le sien : x₁ se multiplie par w₁, x₂ par w₂, x₃ par w₃.
• b, le biais — un décalage ajouté tout à la fin, l’humeur de départ du neurone. Ici prudente (b = −0,3) : à conditions neutres, il penche vers « non ».
• sortie — le nombre unique qui en résulte, transmis ensuite aux neurones suivants.

Autrement dit : on multiplie chaque entrée par son poids, on additionne les trois, on ajoute le biais. Il ne reste qu’à dérouler le calcul.

Prenez le temps de refaire le calcul du schéma — c’est toute la mécanique d’un neurone, il n’y a rien d’autre à comprendre. Reste une dernière touche : avant de transmettre, on filtre la sortie (la « fonction d’activation » — la plus courante se contente de remplacer les nombres négatifs par zéro). Ce filtre a l’air décoratif ; il est en réalité indispensable, et j’y reviens dans la FAQ. Ce qu’il faut retenir : le savoir du neurone n’est pas dans son calcul, qui est toujours le même — il est dans ses poids. Notre neurone « sait » que la pluie gâche le jardinage uniquement parce que w₂ vaut −0,8.

Pourquoi parle-t-on de « couches » ?

Parce que les neurones travaillent en équipes empilées : une couche, c’est des milliers de neurones qui lisent les mêmes entrées en parallèle, chacun avec ses propres poids ; leurs sorties deviennent les entrées de la couche suivante. L’information traverse ainsi des dizaines d’étages de calcul — d’où l’« apprentissage profond ». Plutôt que de vous le décrire, je vous le fais calculer : on garde notre journée de jardinage — soleil 0,9, pluie 0,1, douceur 0,8 — et on lui ajoute deux étages.

Couche 1 — trois métiers. Première chose à faire : rétrograder notre neurone. Tout seul, il décidait s’il fallait jardiner — il était le modèle entier. Glissé dans une première couche, il ne décide plus rien : il devient le neurone A, un avis parmi d’autres, et sa question rétrécit avec son rôle — non plus « faut-il jardiner ? », mais « est-ce agréable dehors ? ». Ses poids, eux, n’ont pas bougé d’un iota, ni son résultat. C’est la même pesée ; c’est la question posée autour d’elle qui a changé. À côté de lui, deux collègues lisent exactement les mêmes trois relevés — soleil 0,9, pluie 0,1, douceur 0,8 — chacun avec son métier, donc ses poids.

• A, « est-ce agréable dehors ? » — poids et biais du schéma précédent, inchangés (+0,7, −0,8, +0,4, biais −0,3) : (0,9 × 0,7) + (0,1 × −0,8) + (0,8 × 0,4) − 0,3 = 0,63 − 0,08 + 0,32 − 0,3 = 0,57
• B, « la terre est-elle travaillable ? » — le soleil la sèche (−0,2), une pluie récente l’attendrit (+0,9), la douceur compte peu (+0,1), biais +0,1 : (0,9 × −0,2) + (0,1 × 0,9) + (0,8 × 0,1) + 0,1 = −0,18 + 0,09 + 0,08 + 0,1 = 0,09
• C, « les plantes souffrent-elles de la sécheresse ? » — le soleil aggrave (+0,6), la pluie soulage (−0,7), l’air doux aggrave un peu (+0,3), biais −0,1 : (0,9 × 0,6) + (0,1 × −0,7) + (0,8 × 0,3) − 0,1 = 0,54 − 0,07 + 0,24 − 0,1 = 0,61

Trois lectures des mêmes trois nombres : A est franchement favorable, B tempère (la terre est dure), C alerte (les plantes ont soif). Regardez la pluie : poids négatif chez A, positif chez B, négatif chez C — même entrée, trois métiers, trois signes. C’est ce qui fait qu’une couche n’est pas une redondance mais une équipe.

Couche 2 — deux décisions. Un étage plus loin, deux neurones ne voient plus la météo du tout : leurs entrées, ce sont les trois avis, 0,57, 0,09 et 0,61 (tous positifs — le filtre d’activation évoqué plus haut n’a rien eu à retoucher, et ce sera vrai à chaque étage de cet exemple). Et ils ne répondent plus à la même question : la couche a scindé le problème en deux décisions.

• D, « bonne fenêtre pour planter ? » — il écoute A (+0,8) et surtout B (+0,9), et se méfie de C (−0,6), biais −0,1 : (0,57 × 0,8) + (0,09 × 0,9) + (0,61 × −0,6) − 0,1 = 0,456 + 0,081 − 0,366 − 0,1 = 0,071, arrondissons à 0,07
• E, « faut-il arroser ? » — A l’intéresse peu (+0,1), B le freine (−0,3), C le décide (+0,9), biais 0 : (0,57 × 0,1) + (0,09 × −0,3) + (0,61 × 0,9) = 0,057 − 0,027 + 0,549 = 0,579, soit 0,58

Deux verdicts opposés, tirés des trois mêmes avis : D dit non, E dit oui.

Couche 3 — la décision. Un dernier neurone, F, ne lit que ces deux verdicts, 0,07 et 0,58.

• F, « que fait-on au jardin aujourd’hui ? » — il pèse D (+0,9) et E (+0,6), biais −0,1 : (0,07 × 0,9) + (0,58 × 0,6) − 0,1 = 0,063 + 0,348 − 0,1 = 0,311, soit 0,31

Le schéma ci-dessous reprend les six calculs, une pastille par neurone.

Relisez maintenant les pastilles du schéma, de gauche à droite. Seul, le neurone A disait 0,57 : sortez, il fait beau. Trois étages plus loin, le réseau dit 0,31 — un « oui » tiède — mais surtout il dit quoi : planter n’obtient que 0,07, arroser 0,58. On sort, oui : pour arroser, pas pour planter. Personne n’a écrit cette conclusion nulle part ; aucun des six neurones n’a fait autre chose que multiplier et additionner, aucun ne « sait » ce qu’est un jardin. Chaque étage travaille sur les conclusions de l’étage précédent : c’est l’assemblage qui fabrique la nuance, pas le neurone. Remarquez aussi la forme de l’édifice : trois entrées, trois neurones, puis deux, puis un — les couches rétrécissent vers la décision. Passez de trois neurones par couche à des dizaines de milliers, et de trois étages à 96 : vous avez GPT-3.

Dans un modèle de langage, ce sont les embeddings du palier 4 qui entrent dans la première couche. Puis, étage après étage, les représentations s’affinent — les premières couches capturent plutôt des régularités locales de la langue, les couches profondes des choses plus abstraites. Je dois ici un avertissement d’honnêteté : cette description « par étages de compréhension » est une vulgarisation confortable, et la réalité observée par les chercheurs en interprétabilité est plus enchevêtrée. Ce qui est certain, c’est le mécanisme : des pesées, dont les résultats sont pesés, dont les résultats sont pesés — 96 fois de suite chez GPT-3.

Où sont les fameux « paramètres » dont tout le monde parle ?

Vous les avez déjà rencontrés : les paramètres, ce sont les poids (et les biais). Notre neurone jouet en avait 4 ; GPT-3 en compte 175 milliards, le plus grand Llama de Meta 405 milliards. Quand on dit qu’un modèle « fait 405 milliards de paramètres », on compte donc ses nombres ajustables — le volume total de ses réglages.

Et voici la jonction avec tout ce qu’on a vu, le moment où la plongée boucle sa boucle technique. Les poids d’une couche se rangent naturellement dans un immense tableau de nombres — en mathématiques, une matrice. Faire traverser une couche à vos embeddings, c’est multiplier ces tableaux entre eux. Or, souvenez-vous du palier 1 : les GPU, ces cartes graphiques inventées pour les jeux vidéo, excellent précisément à multiplier d’énormes tableaux de nombres. Voilà pourquoi l’IA mondiale tourne sur du matériel de gamer : générer un mot, c’est faire traverser à des matrices 96 étages de multiplications.

Modèle (année)	Paramètres	Couches
GPT-2 (2019)	1,5 milliard	48
GPT-3 (2020)	175 milliards	96
Llama 3.1, le plus grand (2024)	405 milliards	126
Petits modèles « locaux » (Ollama…)	1 à 20 milliards	16 à 40

Comment ce calcul produit-il du sens ?

En déformant l’espace des embeddings, couche après couche. Chaque étage déplace les points-mots ; au fil des étages, la représentation de votre phrase migre vers une position d’où la dernière opération peut lire directement les probabilités du mot suivant — notre sac de jetons du palier 2.

C’est l’image qui attache ensemble les paliers 4 et 5. Reprenez la carte du sens : votre phrase entre comme une constellation de points. La première couche les déplace un peu, la deuxième encore, et ainsi de suite — le grand calcul est une chorégraphie : 96 déplacements successifs dans l’espace du sens. Entrez « La fraise du jardin est » : au fil des couches, la représentation glisse vers la région d’où « rouge », « sucrée » et « mûre » sont les sorties naturelles, et loin de celle d’« embouteillage ».

Une confession pour finir : pourquoi cette chorégraphie apprise fonctionne-t-elle aussi bien ? La question n’est pas entièrement résolue — l’interprétabilité des réseaux est un champ de recherche actif, pas un chapitre clos. On sait construire ces machines, les entraîner, les mesurer ; on ne sait que partiellement raconter ce que chaque couche fabrique. Je préfère vous le dire : au fond de la mer, il reste de l’eau sombre.

Le jour où j’ai entendu les milliards de multiplications

Envie de rendre tout ça physique ? Faites tourner un petit modèle chez vous. Avec un outil gratuit comme Ollama, un modèle open source de quelques milliards de paramètres s’installe en dix minutes sur un ordinateur récent.

Ce qui m’a le plus marqué la première fois, ce n’est pas la qualité des réponses : c’est le ventilateur. Vous posez une question, et la machine souffle — chaque mot généré, ce sont des milliards de multiplications qui chauffent votre processeur, le grand calcul rendu audible. On y sent aussi la différence de gabarit : un petit modèle de 3 milliards de paramètres répond vite et sottement parfois ; un 8 milliards est déjà plus fin mais réclame sa mémoire — comptez grosso modo 1 Go par milliard de paramètres en version compressée. Après ça, les « 175 milliards » de GPT-3 cessent d’être un chiffre marketing : vous savez ce que votre machine endure pour un modèle vingt à cinquante fois plus petit.

Où en est la plongée ?

Prêt(e) à descendre au palier 6 ?

Résumons la salle des machines : des neurones qui pèsent, empilés en couches qui déforment l’espace du sens, et des milliards de poids où réside tout le savoir. Multiplier, additionner, filtrer — 96 étages durant.

Mais il manque une pièce, et pas n’importe laquelle. Le réseau que je viens de vous décrire traite chaque position de la phrase un peu trop en solitaire. Or dans « la souris que le chat poursuivait était grise », qui est grise ? Pour le savoir, le mot « grise » doit aller regarder « souris » par-dessus l’épaule de « chat ». Ce regard des mots les uns sur les autres, c’est l’attention — le mécanisme qui a donné son nom au paper « Attention Is All You Need » et son architecture à toute l’IA moderne. Palier 6, la semaine prochaine : on y décortique enfin la pièce maîtresse, softmax promis au palier 2 inclus.

Nouveau dans la série ? Tout commence au palier 1, le voyage de votre message. Et les commentaires vous attendent, dans l’écoute et la bienveillance.

– blaminhor