Pourquoi la science publiée peut-elle paraître plus sûre qu'elle ne l'est ?

La science publiée peut paraître plus sûre qu'elle ne l'est, parce que ce qui est publié dépend en partie de ce qui a été trouvé. C'est le biais de publication. Une étude au résultat statistiquement significatif a environ trois fois plus de chances d'être publiée qu'une étude tout aussi bien menée qui n'a rien trouvé. Si tu ne lis que les revues, tu vois les réussites sans les échecs, et chaque effet paraît plus grand et plus solide qu'il ne l'est vraiment.

Souvent, personne ne cache rien exprès. Un chercheur obtient un résultat nul, pense s'être trompé, se lasse du sujet ou se dit qu'aucune revue ne s'y intéressera, et l'étude finit dans un tiroir. Le psychologue Robert Rosenthal a baptisé cela le « problème du tiroir » en 1979.

Les enjeux peuvent être bien réels. L'antidépresseur réboxétine a été autorisé dans plusieurs pays européens et au Royaume-Uni en 2001, sur la foi d'essais positifs. En 2010, un institut allemand a rassemblé les données, y compris des résultats jamais publiés, et conclu que le médicament était inefficace : les données publiées surestimaient son bénéfice face au placebo jusqu'à 115 %, et près des trois quarts des données de patients n'avaient pas été publiées. L'histoire a pourtant un rebondissement. Une nouvelle analyse en 2011 a relevé des failles dans ce verdict, et une étude de 2018 portant sur 21 antidépresseurs a jugé la réboxétine meilleure que le placebo, mais moins efficace que les autres.

Le remède consiste à enregistrer une étude avant d'avoir les données, pour qu'un échec ne puisse pas disparaître en silence. Depuis 2004, les grandes revues médicales refusent les essais de médicaments qui n'ont pas été enregistrés dès le départ.