Hypothèses, seuil et valeur-p

Un test oppose une hypothèse nulle $H_0$ à une alternative $H_1$ à partir d'une statistique. Le seuil $\alpha$ contrôle une probabilité d'erreur de première espèce : rejeter $H_0$ alors qu'elle est vraie. La valeur-p est la probabilité, calculée sous $H_0$, d'un résultat au moins aussi extrême dans le sens du test ; elle n'est pas la probabilité que $H_0$ soit vraie.

Pour un test binomial unilatéral à droite, $H_0$ fixe $p=p_0$ et les grandes valeurs de $X$ soutiennent $p>p_0$. La valeur-p exacte est $P_{p_0}(X\ge x_\mathrm{obs})$. Le sens de l'alternative doit être fixé avant l'analyse. La puissance mesure la probabilité de rejeter sous une alternative donnée ; un non-rejet ne prouve pas l'hypothèse nulle.

Une pièce est lancée cinq fois indépendamment et donne cinq succès. On teste $H_0:p=1/2$ contre $H_1:p>1/2$. Sous $H_0$, $X\sim\mathcal B(5,1/2)$ et la valeur-p est $P(X\ge5)=1/32=0{,}03125$. Au seuil 5 %, on rejette $H_0$ pour ce test unilatéral. Avec un test bilatéral symétrique, les cinq échecs seraient aussi extrêmes : la valeur serait $2/32=0{,}0625$, ce qui changerait la décision.

Le tableau compare le même résultat observé sous deux alternatives. Ce n'est pas l'observation qui change, mais la définition de l'extrême. Choisir le test après avoir vu les données fausse le contrôle annoncé du risque.