Pourquoi tant de résultats célèbres en psychologie disparaissent-ils quand on refait l'expérience ?

Beaucoup de résultats célèbres s'évanouissent au second essai parce que la façon de faire de la science facilitait la publication de coups de chance. Les revues préféraient les résultats positifs et frappants, et les échecs finissaient dans un « tiroir ». Les études étaient souvent trop petites pour détecter fiablement de vrais effets. Et les chercheurs, généralement sans aucune intention de tricher, disposaient d'une grande liberté pour analyser leurs données, ce qui peut faire grimper le taux de fausses alertes au-delà de 60 %. C'est ce qu'on appelle aujourd'hui la crise de la reproductibilité.

Le moment où elle est devenue impossible à ignorer date de 2011. Daryl Bem, un psychologue respecté, a publié dans une grande revue neuf expériences qui semblaient montrer que les gens peuvent pressentir l'avenir. Presque personne n'y a cru, et les répétitions n'ont rien trouvé. Ce qui a ébranlé la discipline, c'est que Bem avait utilisé les mêmes méthodes que tout le monde. Si des méthodes standard pouvaient « prouver » la précognition, qu'avaient-elles « prouvé » d'autre ? Bem a ensuite confié à un journaliste qu'il était tout à fait pour la rigueur, mais qu'il préférait que d'autres s'en chargent.

Les psychologues ont donc vérifié. En 2015, le Reproducibility Project a refait 100 études publiées. Sur 97 aux résultats positifs, seules 36 % ont de nouveau fonctionné, et les effets étaient en moyenne deux fois plus faibles. Des idées célèbres comme l'amorçage social sont en difficulté depuis.

La réponse est encourageante : beaucoup de revues acceptent désormais des études sur la base de leur protocole, avant toute donnée, pour que les résultats ne puissent pas être tordus après coup. Certains parlent d'une révolution de la crédibilité.