L’illusion statistique (2ème partie)
Je cherchais des exemples pour cette deuxième partie lorsque je me suis rappelé de cet article court, assez simple et qui illustre très bien un certain nombre de problèmes de l’illusion statistique .
Il se trouve que ça parle des OGM (par hasard!) et du réexamen par Séralini (aussi par hasard) de l’étude sur les rats nourris au Maïs MON 863, mais que sa portée est assez générale.
Il est difficile de parler d’illusion (statistique ou autre) sans parler des illusionnistes qui s‘en servent. En s’attaquant à une base de données comportant près de 500 paramètres mesurés, GES et ses collègues du CRIIGEN étaient presque sûrs de trouver quelques différences qu’on qualifie en statistique de « significatives » , c’est-à-dire de quoi alimenter la polémique. Ou plus exactement, de quoi alimenter la propagande anti-OGM qui est la raison d’être du CRIIGEN.
Il aurait été extrêmement étonnant qu’ils ne trouvent aucune différence « significative ». Sauf que ce terme a un sens bien précis en statistique, et que son maniement nécessite prudence et recul, des qualités évidemment méprisées par les idéologues pour qui seules comptent les données au service d’une thèse qu’on a préalablement et définitivement admise comme vraie.
Y aurait-il des faits contredisant cette thèse ? Alors les faits mentent , ou les calculs sont mal faits…« Les statistiques , ou on sait déjà ce qu’il y a dedans, ou c’est faux » . Tel pourrait être la devise de GES.
Traduction (maison, donc imparfaite) de l’anglais, allégée de quelques courts passages.
Anton
Lies, Damned lies and statistics
par Christopher Preston
« Il y a 3 sortes de mensonges : les mensonges, les foutus mensonges, et les statistiques ». Cette formule attribuée à Benjamin Disraeli, se réfère à la manière dont les statistiques peuvent être dévoyées au service d’arguments fallacieux. Nous savons tous à quel point l’utilisation abusive des statistiques est courante en politique. Il est moins connu que les mauvais usages des statistiques en recherche scientifique peuvent aboutir à des choix de politique publique erronés. A coup sûr , les scientifiques ne (s’) autoriseraient pas des mensonges statistiques destinés à tromper le public ? Comment ??? Le feraient-ils ?
(Il y a déjà quelques temps de cela) , il y a eu un écho considérable dans la presse à propos d’un article dans la Revue Archives of Environnemental Contamination and Toxicology. Cet article , « Une nouvelle analyse du nourrisage de rats avec un maïs génétiquement modifé révèle des de toxicité hépatomégalie », de Gilles-Éric Séralini, Dominique Cellier et Joël Spirou de Vendomois, vise à démontrer qu’un maïs génétiquement modifié occasionne des dommage aux foies et aux reins de rats et, dès lors, est probablement dangereux pour les humains. (..)
L’article ne contient aucune donnée nouvelle. Il s’est basé sur des données déjà publiées en 2006 dans la revue Food and Chemical Toxicology et les a ré analysées. Ce faisant, les auteurs de ce nouvel article ont suggéré avoir découvert des différences importantes omises dans la première étude.
C’est ainsi qu’arrivent les mensonges statistiques. Quand les scientifiques veulent comparer les effets de deux traitements, ils utilisent les statistiques parce qu’ils ne peuvent tester le traitement sur toute la population. Lorsque l’effet du traitement diffère suffisamment de celui constaté sur le groupe de contrôle, ils le décrivent comme « significativement différent. Souvent, une valeur de 5% de probabilité est retenue ; autrement dit, il y seulement 5% de chances que la différence ne soit pas vraie (due au hasard du tirage des échantillons de population testés ). On les appelle « erreurs de type 1 ».
Il est par conséquent évident que des comparaisons sont faites pour un grand nombre de paramètres, la probabilité d’apparition d’erreurs de type 1 est accrue. Avec 100 comparaisons différentes, vous êtes presque sûr de trouver au moins une différence à p 0.05 même si elle est fortuite. C’est pour cela que les bons scientifiques évitent de tomber dans ce piège, soit en utilisant d’autres tests statistiques soit en réduisant la valeur de probabilité à partir de laquelle la différence est considérée comme significative.
Séralini et ses collaborateurs ont procédé à 494 comparaisons entre les rats nourris au mais GM et les rats nourris avec du maïs conventionnel. A ce niveau, on s’attend à obtenir en moyenne 25 différences significatives à seuils 0.05 et à 5 différences à une probabilité de 1 % (seuils 0.01). Séralini a rapporté 33 différences à seuil 0.05 et 4 différences à seuil 0.01. Presque le même nombre de différences que celles prévues par les lois du hasard. C’est un problème élémentaire en statistique dont tiennent compte les bons scientifiques dans leur pratique. Cela mine aussi toute conclusion à partir de ce genre d’analyse.
Intuitivement, nous comprenons que si quelque chose que nous mangeons est dangereux, c’est d’autant plus dangereux qu’on en mange davantage, ou au minimum pas moins dangereux. En science, on établit une relation de dose à effet. L’effet d’une toxine sera plus prononcé avec davantage de toxine. Il est également intuitif que consommer la toxine plus longtemps sera également plus dangereux. C’est la base de toute la toxicologie.
Dans l’étude en question (de Séralini), les rats étaient nourris soit à 11% soit à 33% de mais GM ,et soit pendant 5 semaines soit pendant 14 semaines. Aucune des différences relevées par Séralini ne suivait une relation de dose à effet. Les différences étaient soit erratiques soit plus favorables pour des doses plus élevées. Sans relation de dose à effet, il est impossible de relier ces différences à la consommation du produit .
Comme il n’y a pas cette relation de dose à effet et que les différences relevées par Séralini sont probablement dues au hasard, cette étude ne peut soutenir la thèse selon laquelle ce maïs GM serait risqué pour la santé des rats . Rien de neuf par rapport à la conclusion à laquelle l’étude de 2006 (basée sur les mêmes données) arrivait. Comment donc Séralini a-t-il pu se tromper autant ? Cela pourrait être balayé comme relevant d’une querelle entre statisticiens. Cependant, les problèmes sont si basiques et si triviaux qu’ils montrent, au mieux, une incompétence scientifique. Le fait qu’une telle étude ait pu faire l’objet d’une publication de premier rang soulève également des questions.
Le pire est que cette mauvaise science est utilisée pour influencer le monde des médias et les décisionnaires politiques. Greenpeace s’est saisi de cet article pour colporter ces mensonges statistiques. Ils ont clairement démontré leur influence (lorsque) le ministre de l’agriculture de l’Australie de l’Ouest s’est appuyé sur cette étude pour un moratoire sur les OGM.
Dr Christopher Preston
Discipline of Plante & Food Science
University of Adélaïde
L’article en version originale :
http://gmopundit.blogspot.com/2007/03/lies-damn-lies-and-statistics.html