La p-value et la taille de l’effet

On voit sans cesse passer des titres d’articles du genre « Le café cause le cancer » ou « L’aspirine guérit le rhume des foins », ou bien l’inverse. Alors, bien sûr, dans la plupart des cas, il y a une étude scientifique derrière ces articles. Mais que disent réellement ces études ?

Eh bien, la plupart de ces études utilisent le critère de la p-value. Expliquons rapidement ce que c’est. Imaginons une maladie dont 30 % des gens guérissent naturellement : donc, si on donne un placebo aux patients, ils ont une probabilité de 30 % de guérir. Du coup, si on veut montrer qu’un médicament X est efficace contre cette maladie, il faut montrer qu’il fait mieux qu’un placebo.

Donc on fait notre étude et on obtient un certain taux de guérison. La p-value, c’est la probabilité d’obtenir un taux de guérison au moins aussi élevé avec un placebo. Et l’idée intuitive, c’est que plus cette valeur est faible, plus il est improbable que le médicament ne soit qu’un simple placebo. Autrement dit, plus il est probable qu’il soit efficace. Et la norme, en général, c’est que si la p-value est inférieure à 5 %, alors le médicament peut être considéré comme efficace. On pourrait prendre une valeur plus petite, mais en tout cas, à partir de 5 %, on a un résultat de recherche publiable.

Alors, aujourd’hui, il y a beaucoup de critiques qui sont faites à cette méthode – beaucoup trop pour toutes les évoquer ici (pour ça, je vous renvoie aux vidéos de Science4All, voir dans la description). Mais la plus grosse critique qu’on peut faire – sans mauvais jeu de mots – c’est que ça ne nous dit rien sur la taille de l’effet.

Par exemple, si l’efficacité du médicament X est de 31 % – donc à peine mieux que l’efficacité de 30 % d’un placebo – eh bien, avec une étude suffisamment massive, on finira par avoir une p-value inférieure à 5 %. Le problème ici, c’est qu’on se focalise sur une question assez binaire : l’existence ou non d’un effet. Mais l’existence d’un effet, ça n’a pas grand-chose d’exceptionnel en soi. En fait, dans l’absolu, il est même probable qu’à peu près n’importe quelle substance ait un effet sur n’importe quelle maladie, quitte à ce que ce soit un effet minuscule. Par exemple, avant même d’avoir fait la moindre étude, il était très probable que la chloroquine ait au moins un petit effet sur le Covid-19. Et ça l’est toujours, d’ailleurs.

Mais quand on s’intéresse à l’effet d’un médicament, eh bien, c’est la taille qui compte. Classer les médicaments en « efficace » et « pas efficace » avec un seuil de p-value arbitraire, c’est s’éloigner de la vraie question importante : qui a la plus grosse ?