Un ordinateur qui répond parfaitement en chinois en comprend-il un seul mot ?

Selon le philosophe John Searle, non : donner les bonnes réponses, ce n'est pas comprendre. Dans un célèbre article de 1980, il nous demande d'imaginer un ordinateur si doué en chinois que personne, en discutant avec lui, ne pourrait deviner qu'il ne s'agit pas d'un locuteur chinois caché.

Puis il se met à la place de l'ordinateur. Searle, qui ne lit pas le chinois, est assis dans une pièce avec le programme écrit en anglais, des crayons, du papier et des classeurs. On glisse des caractères chinois sous la porte. Il suit les règles pas à pas, et elles lui indiquent quels caractères chinois renvoyer. De l'extérieur, la pièce réussit le test de Turing. À l'intérieur, Searle ne comprend rien. Et puisqu'il fait exactement ce que fait l'ordinateur, Searle conclut que l'ordinateur ne comprend rien non plus. Exécuter un programme, soutient-il, ne suffit pas pour avoir un esprit.

Attention à ce que l'argument ne dit pas : il ne fixe aucune limite à l'intelligence du comportement d'une machine. Il vise « l'IA forte », l'idée que le bon programme aurait littéralement un esprit comme le nôtre.

La plupart des philosophes et chercheurs en IA qui s'y sont penchés pensent que Searle a tort. La réponse la plus connue dit que ce n'est pas l'homme qui comprend, mais le système tout entier. Réplique de Searle : que l'homme apprenne toutes les règles par cœur ; il devient alors le système entier, et il ne comprend toujours pas. À l'heure où des chatbots tiennent des conversations fluides, la pièce semble moins hypothétique que jamais.