Deux variables : covariance, corrélation, moindres carrés

Une série statistique double associe à chaque individu deux mesures $(x_i ; y_i)$, pour $i = 1, \dots, n$. On la représente par un nuage de points : chaque individu est un point du plan.

Le premier repère du nuage est son point moyen $G(\bar x ; \bar y)$, de coordonnées les deux moyennes.

Pour savoir si $y$ a tendance à augmenter avec $x$, on regarde de quel côté de $G$ tombent les points. La covariance

est positive lorsque la somme de ces produits est positive, négative lorsque leur somme est négative. Il faut tenir compte de leur valeur, pas seulement compter les produits positifs et négatifs. Avec $y = x$, on retrouve la variance : $\operatorname{cov}(x, x) = V(x)$.

Domaines. La série est non vide. Le quotient donnant la pente de la droite de $y$ en $x$ exige $V(x)>0$. Le coefficient de corrélation exige en plus $V(y)>0$ : si une variable est constante, ce coefficient n’est pas défini.

Le coefficient de corrélation linéaire. La covariance dépend des unités des deux variables : on ne peut pas comparer deux covariances calculées dans des unités différentes. On la divise par le produit des écarts-types :

$r$ est sans unité et toujours compris entre $-1$ et $1$ ; son signe est celui de la covariance ; plus $|r|$ est proche de 1, plus les points sont proches d’une droite.

La droite des moindres carrés. Parmi toutes les droites $y = ax + b$, on retient celle qui rend minimale la somme des carrés des écarts verticaux $\sum (y_i - a x_i - b)^2$. On obtient

La seconde relation dit que la droite passe toujours par le point moyen $G$. Dans le quotient de $a$, le facteur $\frac1n$ se simplifie : on peut calculer $a = \dfrac{\sum (x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2}$.

Le coefficient de détermination $r^2$ donne la part de la variance de $y$ expliquée dans cette régression affine avec constante, lorsque $V(x)>0$ et $V(y)>0$. Cette part n’est pas une preuve de causalité.

Les limites. Une corrélation n’est pas une causalité : une troisième variable peut agir sur les deux. $r$ ne mesure qu’une liaison linéaire : une parabole très nette peut donner $r = 0$. Un seul point aberrant peut déplacer fortement la droite. Et l’on n’extrapole pas loin au-delà des données observées.

1. Moyennes : $\bar x = \dfrac{30}{5} = 6$ ; $\bar y = \dfrac{55}{5} = 11$.
2. Écarts : $x_i - \bar x$ vaut $-4$ ; $-2$ ; $0$ ; $2$ ; $4$ et $y_i - \bar y$ vaut $-6$ ; $-2$ ; $-1$ ; $3$ ; $6$.
3. Sommes : $\sum (x_i - \bar x)^2 = 40$, $\sum (x_i - \bar x)(y_i - \bar y) = 24 + 4 + 0 + 6 + 24 = 58$, $\sum (y_i - \bar y)^2 = 86$.
4. Covariance et variance : $\operatorname{cov}(x, y) = \dfrac{58}{5} = 11{,}6$ ; $V(x) = \dfrac{40}{5} = 8$.
5. Droite : $a = \dfrac{58}{40} = 1{,}45$ ; $b = 11 - 1{,}45 \times 6 = 2{,}3$. Équation : $y = 1{,}45\,x + 2{,}3$.
6. Corrélation : $r = \dfrac{58}{\sqrt{40 \times 86}} \approx 0{,}989$ et $r^2 \approx 0{,}978$ : environ 98 % de la variance de $y$ est expliquée par l’ajustement.

Vérification : au point moyen, $1{,}45 \times 6 + 2{,}3 = 11 = \bar y$.

La figure montre les cinq points de l’exemple, le point moyen $G(6 ; 11)$ et la droite $y = 1{,}45\,x + 2{,}3$. Les écarts verticaux entre chaque point et la droite valent $-0{,}2$ ; $0{,}9$ ; $-1$ ; $0{,}1$ ; $0{,}2$ : la méthode des moindres carrés rend minimale la somme de leurs carrés, et leur somme est nulle.