Comment un grand modèle de langage écrit-il une phrase, morceau par morceau ?

En devinant le morceau suivant, encore et encore. Un grand modèle de langage est un réseau de neurones entraîné sur une immense quantité de texte, et au fond il ne fait qu'une chose : à partir du texte déjà écrit, il estime la probabilité de chaque morceau suivant possible. « J'aime manger » a-t-il plus de chances d'être suivi de « du pain » ou « des cailloux » ? Il choisit un morceau, l'ajoute au texte, et se repose la même question. Une réponse entière, c'est juste cette boucle, répétée encore et encore.

Ces morceaux s'appellent des tokens. Comme le modèle ne manipule que des nombres, le texte est d'abord découpé en tokens tirés d'un vocabulaire fixe, souvent des mots entiers ou des bouts de mots, et chacun devient un nombre, puis une liste de nombres appelée plongement (embedding).

Le plus astucieux, c'est la façon dont le modèle utilise le contexte. Son architecture, le transformeur, possède un mécanisme d'attention qui relie chaque token à tous les autres en même temps, aussi éloignés soient-ils : la fin d'une longue phrase peut donc dépendre de son début. À la fin, le modèle transforme son calcul en une probabilité pour chaque token de son vocabulaire. Un réglage appelé température décide de l'audace du choix : basse, c'est presque toujours le premier choix ; haute, il y a plus de hasard.

Cela explique une faiblesse célèbre. L'entraînement récompense une bonne estimation du mot suivant même quand le modèle manque d'informations : il peut donc produire un texte fluide, assuré, et faux. Quand la data scientist Teresa Kubacka a interrogé ChatGPT sur un phénomène qu'elle avait inventé, il a répondu avec des références d'apparence crédible.