Comment un test fiable à 95 % peut-il se tromper 98 fois sur 100 quand il dit oui ?

Un éthylotest qui détecte à coup sûr chaque conducteur réellement ivre et n'accuse à tort que 5 % des conducteurs sobres semble quasiment parfait. Mais si seulement 1 conducteur sur 1 000 sur la route est réellement ivre, un résultat positif de ce test n'est juste que dans environ 2 % des cas, pas 95 %. Sur 1 000 conducteurs pris au hasard, l'unique conducteur réellement ivre produit 1 vrai positif, mais les 999 conducteurs sobres produisent environ 50 faux positifs à eux seuls. Beaucoup de gens répondent 95 %, parce qu'ils jugent la fiabilité du test et oublient à quel point la conduite en état d'ivresse est rare parmi les conducteurs testés. Cette erreur s'appelle le sophisme du taux de base : ignorer la fréquence réelle d'une chose pour se concentrer uniquement sur le cas particulier qu'on a sous les yeux.

La même erreur s'est jouée devant un tribunal. En 1998, Sally Clark, une Britannique, a été accusée d'avoir tué ses deux bébés après que chacun est mort de façon inattendue quelques semaines après sa naissance. Un témoin expert a affirmé que les chances que deux enfants d'une même famille meurent par hasard du syndrome de mort subite du nourrisson (SMSN) étaient d'environ 1 sur 73 millions, et a soutenu qu'il était donc bien plus probable qu'elle les ait tués. Mais ce chiffre supposait que chaque décès était un accident indépendant et sans lien, alors qu'il y a de bonnes raisons de penser qu'une famille déjà touchée par un décès par SMSN est plus vulnérable à un second, pour des raisons génétiques, ce qui brise entièrement cette hypothèse. Et même pris pour argent comptant, ce nombre ne voulait rien dire seul : il fallait le comparer à la probabilité de l'autre explication, le double homicide. Clark a été condamnée en 1999, ce qui a poussé la Royal Statistical Society à dénoncer ces erreurs dans un communiqué ; sa condamnation a été annulée en 2003, après qu'un tribunal a constaté qu'un médecin légiste avait caché des éléments à sa décharge.

Le même schéma apparaît partout où l'on teste un événement rare dans une immense population : un système de reconnaissance faciale fiable à 99 % mais qui scanne 10 000 personnes par jour signalera bien plus de personnes innocentes que de vrais criminels recherchés, simplement parce que les innocents sont bien plus nombreux que les criminels au départ. La fiabilité d'un test à elle seule ne dit jamais si un résultat positif est fiable. Il faut aussi savoir à quel point ce qu'on recherche est réellement rare.