L’illusion statistique (3ème partie)
Dans cette 3ème partie, nous revenons sur l’étude de Séralini déjà citée : New Analysis of a Rat Feeding Study with a Genetically Modified Maize Reveals Signs of Hepatorenal Toxicity, parce qu’en plus de tous les travers énoncés dans le texte de Christopher Preston (1) que nous avons traduit, elle contient un moins un cas d’école en matière d’entourloupe statistique caractérisée :
L’équipe de Séralini a donc recalculé elle-même à partir des données brutes de Hammond la valeur de certains paramètres biologiques et physiologiques, en particulier le rapport entre le poids des reins des animaux et leur poids total.
Voyons tout d’abord les résultats de Hammond :
|
|
A |
B |
C |
D |
E |
|
REINS/CORPS |
0,69 |
0,71 |
0,68 |
0,67 |
0,68 |
|
dev. stand. |
0,05 |
0,07 |
0,05 |
0,04 |
0,13 |
|
maïs |
parent |
parent |
MON863 |
MON863 |
divers |
|
consommé |
11% |
33% |
11% |
33% |
33% |
|
Hammond et coll. 2006 |
|
|
|
|
|
Lecture : les moyennes (1ère ligne) correspondent pour les colonnes C et D au rats nourris à 11% et 33% au maîs trangénique MON 863, pour les colonnes A et B aux rats nourris au maîs « parent » (ou isogénique, cad que le maïs MON863 ne diffère génétiquement de lui que par le gène BT introduit), et pour la colonne E, aux rats nourris à 33% avec un mélange de 6 variétés de maïs conventionnel. Ces valeurs ne vous disent rien, à part qu’elles ont l’air assez proches ? Rien de plus normal.
La deuxième ligne correspond à la « déviation standard », ou encore à l’ « écart-type ». C’est ce qu’on appelle un indicateur de dispersion des résultats, arithmétiquement, c’est la moyenne des écarts à la moyenne. Si les formules vous font mal à la tête, contentez vous de votre intuition pour comprendre que plus l’écart-type est élevé, plus les résultats des mesures d’un groupe donné sont dans une fourchette large.
Ainsi par exemple, pour le groupe E, les résultats les plus bas (2) sont beaucoup bas que la valeur moyenne du groupe D (respectivement 0,68-0,13 = 0,55 (groupe E) contre 0,67 (groupe D)) et inversement les résultats les plus hauts sont beaucoup plus hauts que la moyenne du groupe D (respectivement 0,68+0,13=0,81 (groupe E) contre 0,67 (groupe D)).
Qu’en déduisez-vous ? Comme moi sans doute, qu’étant donné les variations très importantes au sein d’un même groupe, l’effet spécifique du produit consommé ne doit pas être important ,voire
qu’il est inexistant même si les moyennes diffèrent légèrement d’un groupe à l’autre… Jusqu’à présent, nous aboutissons aux mêmes conclusions, sans même avoir eu besoin de procéder à des
tests statistiques compliqués.
Mais voilà que dans l’étude de Séralini, est mise en évidence une différence qu’on peut qualifier de « significative » et qui nous aurait échappé, ainsi qu’aux auteurs de la
première étude (à moins qu’ils l’aient volontairement occulté, ce que pense probablement Séralini, vu le peu d‘estime qu‘il porte à ses collègues, même s‘il ne peut l‘écrire dans ce genre de
publication).
|
|
A |
B |
C |
D |
E |
|
REINS/CORPS |
|
0,705 |
|
0,667 |
|
|
dev. stand. |
|
0,015 |
|
0,009 |
|
|
maïs |
|
parent |
|
MON863 |
|
|
consommé |
|
33% |
|
33% |
|
|
Seralini et coll. 2007 |
|
|
|
|
|
|
|
|
Différence significative ! |
|
||
Il apparaît que la différence entre le rapport de poids entre les rats nourris au MON863 (à 33%) et les rats nourris avec le maîs parent (à 33%) est cette fois-ci significative : sans forcément tirer des conclusions sur la nature pathologique de ces différences, vous vous dites que vous aviez loupé quelque chose en lisant les premiers résultats ? C’est faux. La manipulation est dans le deuxième tableau. Vous n’y avez vu que du feu ? Rassurez-vous, moi aussi ! Seul un œil très entrainé peut repérer d’emblée ce genre d’entourloupe si personne n‘attire son attention là où précisemment on ne veut pas qu’il regarde. C’est précisément tout l’art des illusionnistes .
On remarque que Séralini s’est abstenu de fournir les moyennes des groupes A,C et E : pourquoi ? Pour faire disparaître les résultats qui ramènent ces différences « statistiquement significatives » à des différences qui n’ont aucune signification biologique : il suffit de se rapporter aux comparaisons ci-dessus sur les groupes D et E. Ou , comme le rappelait Christopher Preston (1), à l’absence de relation de dose à effet, voire un résultat exotique pour quiconque voudrait se lancer dans une interpétation biologique : le rapport des poids reins/corps diminue pour le groupe nourri au MON 863 lorsque la consommation de maîs augmente (colonnes C et D), et inversement pour le groupe nourri au maîs isogénique ! Allez donc y comprendre quelque chose.
Maintenant que vous êtes avertis, vous aurez peut-être remarqué autre chose : les moyennes pour les groupes A,C,D,E sont presque identiques : elles vont de 0,67 à 0,69. La seule qui, à l’extrême limite , devrait poser question, est justement la valeur un peu plus élevée (0,71) du groupe de contrôle des rats nourris à 33% avec le maïs non transgénique. La sélection des résultats par Séralini permet au contraire de détourner l’attention vers les rats nourris au MON 863 et de disserter sur des « signes de toxicité hépatorénale! ». Avouons-le, c’est du grand art !
Une dernière chose que vous aurez peut-être remarquée . Les valeurs moyennes recalculées par Séralini sont identiques ou du moins très proches de celles de Hammond: ces dernières sont en effet exactement les arrondis à la décimale supérieure des calculs de Séralini (0,71 est l’arrondi de 0,705 , 0,67 l’arrondi de 0,667). Par contre , les écarts-type calculés par Séralini sont sensiblement différents de ceux calculés par Hammond. Ceux de Séralini sont environ 5 fois inférieurs, et il n’explique nulle part cette bizarrerie (3). Or il n’y a pas 50 façons de calculer un écart-type ; en tout cas, je n’en connais qu’une seule. Séralini aurait-il écarté des rats hautement « déviants » par rapport à la valeur moyenne de ce paramètre pour réduire la variance des résultats, ce qui du coup rend les différences de moyenne significatives ?
Reste à comprendre les motivations qui poussent Séralini à procéder de la sorte. Si à l’inverse, l’équipe de Hammond avait procédé à de tels tours de passe-passe, on aurait hurlé au scandale, à la forfaiture. Ici au contraire, la bonne cause qu’est sans doute certain de défendre Séralini vaut bien quelques petits arrangements avec la vérité et la rigueur scientifiques. Il est vrai que lui qui n’est pas tout toxicologue mais prétend refonder à lui tout seul la discipline (4), a peu de temps à consacrer à ces « détails méthodologiques » qui font qu’une étude peut être considérée comme sérieuse par ses pairs .
Le paragraphe consacré aux « acknoledgments » (remerciements) dans l’étude de Séralini & al. , très étrange dans une publication scientifique, éclaire sa conception de la vérité : nul doute qu’elle est ailleurs que dans les faits statistiques.
« Nous remercions Anne-Laure Afchain pour son aide dans les analyses statistiques, et les conseils administratifs et scientifiques pour leur expertise et leur action judiciaire auprès du ministre de l’environnement, Corinne Lepage, afin d’obtenir les données [brutes]. (…) Cette étude a été subventionnée par Greenpeace Allemagne, qui a gagné en Juin 2005 en appel contre Monsanto, qui voulait maintenir ces données confidentielles. Nous exprimons notre reconnaissance envers le ministre français de la recherche et le député François Grosdidier pour leur engagement à étudier les effets des OGM sur la santé (sic!!! « Les OGM« ….en général, et non au cas par cas, ce qui révèle l’ampleur des préjugés. Et bien entendu, personne avant Grosdidier n‘avait songé à étudier leurs effets sur la santé! Ubuesque !), ainsi que le groupe Carrefour pour son financement. ».
Carrefour qui surfe sur la vague anti-OGM , peut en retour remercier Mr Séarlini et le CRIIGEN pour lui avoir permis de figurer parmi les multinationales « génétiquement correctes ».
Anton Suwalki
Notes :
(1) lien article Christopher Preston
http://imposteurs.over-blog.com/article-29829309.html
http://gmopundit.blogspot.com/2007/03/lies-damn-lies-and-statistics.html
(2) il conviendrait peut-être de dire « en moyenne les plus bas », certains résultats isolés pouvant être beaucoup plus bas que la fourchette basse de l’écart-type.
(3) ce qui serait tout de même la moindre des choses. En soi, il n’est pas choquant pour un statisticien d’écarter des valeurs qu’ils jugent aberrantes à partir du moment où il se justifie : imaginez dans un autre domaine un statisticen travaillant sur les salaires dans l’industrie et confronté à un individu ouvrier spécialisé, salaire 3.250.000 euros annuels. Les parachutes dorés étant rarissimes dans cette catégorie socioprofessionnelle, on va raisonnablement écarter cette valeur , la mettant sur le compte d’une erreur de saisie, par exemple. On écartera de même le salaire d’un ingénieur à temps plein dont le salaire annuel serait de 850 euros. Dans tous les cas, on doit justifier la mise à l’écart des valeurs aberrantes. Mais si jamais on retombait après ça, au centime d’euro près au même salaire moyen, on se poserait de sérieuses questions.
(4) http://alerte-environnement.fr/?page_id=1755