Déclarer les hypothèses et les protocoles d’un projet de recherche avant d’effectuer les expériences et publier l’article quel que soit le résultat semble une approche prometteuse pour lutter contre le « biais de publication », la tendance à ne publier que des travaux scientifiques ayant des résultats positifs.
Les scientifiques se battent pour que leurs travaux soient publiés dans des revues les plus prestigieuses possibles… quand ils ont découvert quelque chose d’intéressant ! Mais quand leurs recherches n’ont abouti à rien et que leurs résultats sont négatifs, l’étude est souvent mise à la poubelle sans jamais être publiée. Cette pratique conduit à un « biais de publication » en faveur des résultats positifs qui pèse lourdement sur la crédibilité de la littérature scientifique.
Une stratégie mise en place pour lutter contre ce biais est de prédéclarer et de soumettre à l’examen des pairs les objectifs et les protocoles d’un projet de recherche avant même de réaliser les expériences. Une première analyse des études menées avec cette approche semble indiquer que cette tactique est payante pour réduire le problème du biais de publication.
Selon cette analyse, réalisée par les psychologues Chris Allen et David Mehler, de l’Université de Cardiff, au Royaume-Uni, et rendue publique sur le serveur de prépublication PsyArXiv, les études pour lesquelles les protocoles ont été pré-enregistrés sont beaucoup plus susceptibles que la moyenne de rendre compte de l’absence de résultats.
De meilleurs résultats
Dans une étude pré-enregistrée, les chercheurs soumettent un protocole de recherche à une revue scientifique avant de commencer leurs expériences. Si ce projet passe avec succès l’évaluation par les pairs, la revue s’engage à publier l’article lorsque l’étude sera terminée, quels qu’en soient les résultats.
Cette pratique est apparue ces dernières années dans la communauté scientifique, en s’appuyant sur des initiatives telles que le pré-enregistrement des essais cliniques, qui est exigé par la loi aux États-Unis. Quelque 140 revues utilisent actuellement cette méthode, et 130 études pré-enregistrées ont abouti à la publication d’un article.
Les partisans de cette approche espèrent qu’elle aidera à combattre les pratiques de recherche douteuses, comme la formulation d’hypothèses a posteriori, après avoir analysé les résultats, ou la non-publication des résultats négatifs.
Pour voir si ces études pré-enregistrées augmentent la fréquence des résultats nuls, Chris Allen et David Mehler ont analysé les résultats de 113 projets pré-déclarés dans les sciences biomédicales et psychologiques.
Les deux chercheurs ont identifié 296 hypothèses formulées dans l’ensemble de ces études et ont constaté que, dans l’ensemble, 61 % d’entre elles n’étaient pas étayées par les résultats qui ont ensuite été publiés. Pour les études qui cherchaient à reproduire des résultats antérieurs, le pourcentage de résultats nuls était légèrement plus élevé : soit 66 %, contre 55 % pour des recherches originales.
Ces chiffres sont beaucoup plus élevés que la proportion de résultats nuls présents en général dans la littérature scientifique, que les auteurs estiment entre 5 % et 20 % sur la base de travaux antérieurs.
Toujours pas représentatif
Selon Anne Scheel, chercheuse en psychologie à l’Université de technologie d’Eindhoven, aux Pays-Bas, qui étudie également les recherches pré-enregistrées, cette analyse pourrait encore sous-estimer la véritable proportion des résultats nuls.
D’autres travaux ont estimé que la proportion d’hypothèses testées en psychologie qui sont en fait fausses est supérieure à 90 %, rappelle-t-elle, ce qui suggère que le taux de résultats nuls dans la littérature scientifique actuelle est « en contradiction radicale avec ce à quoi on pourrait s’attendre sans biais de publication ».
Chris Allen précise que leur analyse est préliminaire et qu’il pourrait y avoir d’autres explications à ces résultats.
Par exemple, explique Anne Scheel, les chercheurs pourraient utiliser sciemment ce format d’étude pré-enregistrée en avançant des hypothèses auxquelles ils ne croient pas vraiment, étant donné que ces études pré-enregistrées garantissent plus ou moins la publication d’un article au bout du compte.
Les études pré-enregistrés sont un format nouveau, ajoute-t-elle, et il se peut que les études publiées jusqu’à présent ne soient pas représentatives du domaine de la psychologie en général. « Il y a tellement de questions sans réponses en ce moment », dit Anne Scheel. « Mais c’est aussi une période très excitante pour ceux qui étudient le fonctionnement de la science ».
Le nombre d’études pré-enregistrées augmente quoiqu’il en soit de façon exponentielle, et Chris Allen espère maintenant mener une autre analyse, avec un échantillon plus large, pour répondre à certaines des questions que ces travaux ont soulevé. Et il a l’intention de l’enregistrer en premier.
Ce texte est une traduction de l’article First analysis of “pre-registered” studies shows sharp rise in null findings, publié sur Nature.com le 24 octobre 2018.