Daryl Bem et l’astuce des tests multiples :Vessies, lanternes et statistiques
Un article de Nicolas Gauvrit
Comme souvent quand un article sur un phénomène paranormal arrive à se frayer un chemin jusqu’à une revue scientifique reconnue, l’annonce de la publication prochaine du psychologue Daryl Bem [1] a fait grand bruit dans la presse internationale. Le New-York Times en parlait par exemple dans son édition du 10 janvier 2011.
Il faut dire que l’article du chercheur de la prestigieuse Cornell University semble révolutionnaire, si l’on se réfère aux comptes rendus approximatifs ou raccourcis de la presse et de divers sites [2]. Cet imposant article expose une série de neuf expériences qui, nous dit l’auteur, prouvent chacune un aspect de la précognition, c’est-à-dire de la connaissance implicite du futur. Pour cela, Bem inverse dans le temps des expériences classiques de psychologie. Il prétend que des effets connus, comme par exemple le priming (facilitation à reconnaître un stimulus qui a été présenté de manière subliminale juste avant la phase de reconnaissance), sont également vrais à rebours, la présentation facilitant la reconnaissance étant en l’occurrence présentée après la reconnaissance.
Les raisons qui ont poussé le célèbre Journal of Personality and Social Psychology à accepter ce manuscrit resteront sans doute mystérieuses (peut-être l’effet d’une précognition de buzz ?). En privé, le seul éditeur de la revue que nous ayons contacté déplore ce choix [3], qui ne peut pas être seulement dû, comme nous allons le voir, à la rigueur scientifique du texte. D’ailleurs, si l’article de Bem ne paraîtra que dans quelques mois, la revue a déjà accepté une réponse critique de Wagenmakers et ses collègues, qui montrent l’ineptie des statistiques développées dans le papier de Bem.
La lecture attentive de l’article de Bem laisse voir un décalage formidable entre certains aspects très rigoureux et détaillés… et d’autres qui auraient jadis valu des coups de règles sur les doigts des expérimentateurs étudiants. Du côté positif, Bem détaille par exemple avec moult précautions et justifications le choix qu’il a fait concernant les générateurs aléatoires indispensables à ses expériences. Il est connu que les fonctions pseudo-aléatoires des langages de programmation classiques sont parfois insuffisantes ; eh bien, Bem fait largement mieux, en utilisant un générateur fondé sur des processus physiques [4]… mais qu’il n’utilise pas pour toutes les expériences, pour une raison non élucidée.
Comme on va le voir ci-dessous, une bonne partie de la méthodologie de Bem est pour le moins douteuse… et les traitements statistiques qu’il utilise parfaitement inadaptés. En corrigeant les erreurs de procédures statistiques, on ne trouve plus aucun résultat concluant, et l’affaire retombe comme un soufflé aux chimères.
La suite de l’article sur le site de Science et pseudo-sciences