Comment un ordinateur peut-il faire de l'arithmétique avec le sens des mots ?

Un ordinateur peut faire de l'arithmétique avec le sens grâce aux plongements de mots (word embeddings). Chaque mot devient une longue liste de nombres, appelée vecteur. Les vecteurs sont disposés de sorte que les mots de sens proche soient proches les uns des autres. Soustrais le vecteur d'un mot à celui d'un autre, ajoute un troisième, et tu tombes près d'un quatrième mot qui a le même genre de sens pour un humain.

L'idée remonte à 1957. Le linguiste anglais John Rupert Firth a proposé qu'un mot se caractérise par la compagnie qu'il fréquente : des mots employés dans les mêmes contextes tendent à avoir des sens proches. En 2013, une équipe de Google a transformé cette idée en nombres avec Word2vec, un petit réseau de neurones entraîné sur d'énormes quantités de texte. Il donne à chaque mot un vecteur, en général long de quelques centaines de nombres, uniquement d'après les mots qui l'entourent d'habitude.

Ce qui a rendu Word2vec célèbre, c'est que ses vecteurs capturaient des relations, pas seulement des ressemblances. Prends le vecteur de « Frère », retire « Homme », ajoute « Femme », et le résultat est le plus proche de « Sœur ». La même arithmétique marche pour les pays et leurs capitales, et même pour les temps des verbes. Personne n'a expliqué au modèle ce qu'est une sœur ou une capitale. Il a appris le motif dans du texte brut.

Cette sensibilité à la compagnie des mots a un revers. En 2016, des chercheurs ont montré qu'un modèle word2vec populaire, entraîné sur des textes de Google News, produisait l'analogie « l'homme est au programmeur informatique ce que la femme est à la femme au foyer ». Il avait absorbé des stéréotypes de genre présents dans les articles dont il avait appris. D'autres travaux ont montré qu'utiliser ces plongements sans surveillance attentive peut faire passer les biais de la société dans les systèmes bâtis dessus, voire les amplifier.