Estimateurs, biais et risque quadratique

Un estimateur est une statistique calculée sur un échantillon pour approcher un paramètre inconnu. Avant observation, c'est une variable aléatoire ; son résultat numérique est une estimation. Le biais est la différence entre l'espérance de l'estimateur et le paramètre. Un estimateur sans biais n'est pas exact sur chaque échantillon : il reste aléatoire.

Le risque quadratique mesure l'erreur moyenne au carré : $R=\mathbb E[(T-\theta)^2]=\operatorname{Var}(T)+\operatorname{Biais}(T)^2$. Cette décomposition permet de comparer dispersion et décalage systématique. Un léger biais peut réduire assez la variance pour abaisser le risque ; « sans biais » ne signifie donc pas « meilleur dans tous les sens ».

On observe $n=25$ variables indépendantes de moyenne inconnue $\mu$ et de variance connue 9. Pour $T=\bar X$, l'espérance vaut $\mu$, le biais zéro et le risque $9/25=0{,}36$. Pour $U=\bar X+0{,}2$, la variance reste $0{,}36$, le biais vaut $0{,}2$ et le risque $0{,}36+0{,}04=0{,}40$. Le décalage constant détériore ici le risque sans réduire la variance.

Le tableau sépare les deux composantes du risque. Le carré du biais doit être ajouté avec les mêmes unités au carré que la variance. L'exemple ne compare que deux estimateurs simples dans un modèle donné, pas toutes les méthodes possibles.