Corrélation, régression et moindres carrés

Une série double

Quand on observe deux caractères sur les mêmes individus, chaque individu devient un couple $(x_i, y_i)$. Le nuage de points place ces couples dans un repère : c'est la première chose à tracer, avant tout calcul.

Le point moyen $G(\bar{x}, \bar{y})$, où $\bar{x}$ et $\bar{y}$ sont les moyennes des deux séries, est le centre de gravité du nuage. Il servira de point d'ancrage à toute la suite. Moyenne, variance et écart-type d'une série simple sont posés dans le chapitre sur les statistiques.

On note $N$ le nombre d'individus, $V(X)$ la variance de la série des $x_i$ et $\sigma(X) = \sqrt{V(X)}$ son écart-type ; de même pour $Y$.

Voici les huit journées qui serviront de fil au chapitre : deux colonnes de nombres deviennent huit points, et l'alignement se voit avant tout calcul.

Le nuage montre. Il ne chiffre pas, et un rapport demande un nombre. Le premier à construire est celui qui dit si les deux colonnes bougent dans le même sens.

Covariance

En clair, la première forme se lit : « pour chaque individu, multiplier son écart à la moyenne des $x$ par son écart à la moyenne des $y$, puis faire la moyenne de ces produits ». La seconde se lit : « moyenne des produits $x_i y_i$, moins le produit des deux moyennes ». Les deux donnent le même nombre ; la seconde évite de calculer les moyennes avant de parcourir les données.

Chaque terme de la première forme est positif quand $x_i$ et $y_i$ sont tous deux du même côté de leur moyenne, négatif sinon. Le signe de la covariance est ce qui compte : positive, les deux grandeurs augmentent ensemble ; négative, l'une monte quand l'autre descend ; nulle, aucune tendance linéaire.

Sur les huit journées, le point moyen coupe le plan en quatre coins, et la règle se voit :

Coefficient de corrélation linéaire

En clair : « la covariance divisée par le produit des deux écarts-types ». La division est le point important. La covariance porte le produit des deux unités, des « degrés × MWh ». Le dénominateur aussi : $\sigma(X)$ porte les degrés, $\sigma(Y)$ les MWh. La division les élimine, et il reste un nombre pur, comparable d'un jeu de données à l'autre.

Le coefficient de détermination $r^2$ s'interprète directement en pourcentage. Autour de la droite, les écarts verticaux des points ne gardent que la part $1 - r^2$ de la variance de $Y$ : avec $r = 0{,}9$, $r^2 = 0{,}81$, et la moyenne des carrés de ces écarts ne vaut plus que 19 % de $V(Y)$. On dit que la droite explique 81 % de la variance de $Y$. C'est le chiffre à écrire dans un rapport, parce qu'il est le seul des deux à se traduire en français.

Jusqu'ici, deux nombres qui disent s'il y a une relation linéaire et à quel point elle est nette. Ni l'un ni l'autre ne donne l'équation qui permettrait de prédire une valeur. C'est l'objet de la section suivante.

La droite des moindres carrés

Parmi toutes les droites possibles, la droite de régression de $y$ en $x$ est celle qui minimise la somme des carrés des écarts verticaux entre les points et la droite.

La chercher d'abord à la main

La phrase ci-dessus décrit une recherche. La faire, avant de lire les formules qui la court-circuitent.

Chaque carré de la figure a pour côté l'écart vertical entre un point et la droite, qu'on appelle le résidu de ce point : l'aire du carré est donc le carré du résidu, et le total affiché est exactement la quantité que la méthode rend minimale.

Deux choses se remarquent en cherchant, et les formules ne les diront pas.

Le total ne descend pas régulièrement : il chute vite, puis résiste. Sur ces huit points, en prenant pour chaque pente la meilleure origine possible, une pente fausse de $0{,}5$ donne un total de 44,3 ; fausse de $0{,}1$ seulement, elle donne 4,0, et le minimum vaut 2,3. Si l'origine reste figée à sa meilleure valeur, la même erreur de $0{,}5$ sur la pente coûte 172,3. Autrement dit, une droite « à peu près bonne » se trouve tout de suite, et les derniers centièmes de pente se paient cher. C'est exactement ce qui rend un calcul préférable au tâtonnement.

Et les deux réglages sont liés : dès qu'on touche à la pente, la meilleure origine se déplace aussi. Ici, $0{,}1$ de pente en plus abaisse l'origine idéale de $0{,}8$. On ne peut donc pas régler l'un puis l'autre et s'arrêter. C'est pourquoi le calcul, détaillé après l'encadré des formules, traite les deux inconnues ensemble : il annule deux dérivées partielles, en commençant par celle qui donne directement $b$ en fonction de $a$.

En clair : la pente $a$ est « la covariance divisée par la variance des $x$ », et elle dit de combien $y$ augmente quand $x$ augmente d'une unité. L'ordonnée à l'origine $b$ est « la moyenne des $y$ moins la pente fois la moyenne des $x$ » : c'est le réglage vertical qui force la droite à passer par le point moyen. La pente d'abord, la hauteur ensuite.

Trois contrôles qui ne coûtent rien.

1. La droite passe par le point moyen $G(\bar{x}, \bar{y})$. C'est la conséquence directe de $b = \bar{y} - a\bar{x}$, et c'est la vérification à faire systématiquement.
2. $a$ et $r$ ont le même signe, puisqu'ils partagent le numérateur $\operatorname{cov}(X, Y)$ et que les dénominateurs sont positifs.
3. Calculer $r$ avant d'écrire la droite. Si $|r|$ est faible, la droite existe quand même, elle ne sert simplement à rien, et l'écrire sans le dire est l'erreur classique.

Pourquoi les carrés des écarts ? Parce que la somme des écarts simples s'annule pour une infinité de droites, et parce que la valeur absolue ne se dérive pas partout. Le carré, lui, donne une fonction dérivable dont on annule la dérivée.

Le calcul tient en deux dérivations, et les suivre une fois évite de retenir deux formules par cœur.

La quantité à minimiser est une fonction des deux inconnues $a$ et $b$ :

En clair : pour une droite donnée, c'est-à-dire pour un couple $(a, b)$, la quantité $ax_i + b$ est ce que la droite prédit au point $x_i$, et $y_i - ax_i - b$ est donc l'écart entre l'observation et cette prédiction. On élève chaque écart au carré, on les additionne sur les $N$ points, et le total mesure à quel point cette droite-là rate le nuage. Chercher la meilleure droite, c'est chercher le couple $(a, b)$ qui rend $S$ le plus petit possible.

Son minimum annule ses deux dérivées partielles, chacune calculée en traitant l'autre inconnue comme une constante (voir le chapitre sur les fonctions de plusieurs variables).

Dériver par rapport à $b$ et annuler donne $-2\sum (y_i - ax_i - b) = 0$, soit $\sum y_i = a\sum x_i + Nb$. En divisant par $N$ : $\bar{y} = a\bar{x} + b$, c'est-à-dire $b = \bar{y} - a\bar{x}$. C'est là, et pas ailleurs, que naît le passage de la droite par le point moyen.

Dériver par rapport à $a$ et annuler donne $-2\sum x_i(y_i - ax_i - b) = 0$. En y remplaçant $b$ par $\bar{y} - a\bar{x}$, chaque parenthèse devient $(y_i - \bar{y}) - a(x_i - \bar{x})$, d'où $\sum x_i(y_i - \bar{y}) = a\sum x_i(x_i - \bar{x})$. Les écarts à la moyenne ont une somme nulle : $\sum \bar{x}(y_i - \bar{y})$ et $\sum \bar{x}(x_i - \bar{x})$ valent donc zéro, et l'on peut remplacer $x_i$ par $x_i - \bar{x}$ devant chaque parenthèse sans changer les deux sommes. Il reste

En clair, le numérateur est la somme des produits des deux écarts à la moyenne : c'est le mouvement commun de $X$ et de $Y$. Le dénominateur est la somme des carrés des écarts en $x$ seuls : c'est l'étalement de $X$. La pente rapporte donc le premier au second (la seconde égalité s'obtient en divisant numérateur et dénominateur par $N$). Les deux formules de l'encadré ne sont donc pas deux définitions à retenir : ce sont les deux conditions d'annulation des dérivées d'une même fonction.

L'égalité $a \times a' = r^2$ se vérifie en une ligne, et elle éclaire ce que mesure vraiment $r$ :

$a \times a' = \dfrac{\operatorname{cov}(X, Y)}{V(X)} \times \dfrac{\operatorname{cov}(X, Y)}{V(Y)} = \dfrac{\operatorname{cov}(X, Y)^2}{V(X)V(Y)} = r^2$

Dans le repère habituel, la droite $x = a'y + b'$ a pour pente $1/a'$. Puisque $a \times a' = r^2 \leq 1$, on a $|a| \leq |1/a'|$ : la droite de $x$ en $y$ est toujours au moins aussi raide que celle de $y$ en $x$. Elles se confondent exactement quand $r^2 = 1$. Quand $r = 0$, l'une est horizontale ($y = \bar{y}$) et l'autre verticale ($x = \bar{x}$) : elles sont perpendiculaires. L'écart angulaire entre elles donne donc une lecture géométrique de la force de la corrélation : nul quand $|r| = 1$, droit quand $r = 0$. Entre les deux, sa valeur dépend aussi des échelles choisies pour les axes, et ne se compare pas d'un graphique à l'autre.

Un calcul complet

Sur huit jours d'hiver, la température extérieure moyenne de la journée $x$ en °C et la consommation de la chaufferie d'un campus $y$ en MWh :

Le nuage d'abord, cette fois avec sa droite et ses résidus. Sa légende en donne déjà l'équation et $r$ ; le calcul qui suit les retrouve à la main :

Les points sont visiblement alignés et les résidus minuscules : une droite a du sens, et le calcul peut commencer. C'est cet ordre-là qu'il faut prendre, regarder puis calculer, et jamais l'inverse.

$\sum x = 64$, $\sum y = 148$, $\sum xy = 884$, $\sum x^2 = 680$, $\sum y^2 = 3276$, $N = 8$

$\bar{x} = 64/8 = 8$ et $\bar{y} = 148/8 = 18{,}5$

$\operatorname{cov}(X, Y) = 884/8 - 8 \times 18{,}5 = 110{,}5 - 148 = -37{,}5$

• $V(X) = 680/8 - 8^2 = 85 - 64 = 21$, donc $\sigma(X) \approx 4{,}583$
• $V(Y) = 3276/8 - 18{,}5^2 = 409{,}5 - 342{,}25 = 67{,}25$, donc $\sigma(Y) \approx 8{,}201$

$r = -37{,}5 / (4{,}583 \times 8{,}201) = -37{,}5 / 37{,}58 \approx -0{,}998$ : corrélation quasi parfaite, et négative, $r^2 \approx 0{,}996$. Le calcul confirme ce que le nuage montrait.

$a = -37{,}5 / 21 \approx -1{,}786$ et $b = 18{,}5 - (-1{,}786) \times 8 \approx 32{,}79$

$y = -1{,}786x + 32{,}79$

Contrôle : pour $x = 8$, $y = -1{,}786 \times 8 + 32{,}79 \approx 18{,}5$ ✓ la droite passe bien par $G$, aux arrondis près.

Interprétation métier : chaque degré de plus dehors fait économiser en moyenne environ 1,8 MWh par jour. C'est cette phrase qu'on retient, pas le coefficient.

Prédire, et jusqu'où

La droite sert à estimer $y$ pour un $x$ non observé. C'est son intérêt, et c'est aussi là qu'on se trompe.

La figure ci-dessous ne montre que la droite, prolongée de −5 à 30 °C ; aucun jour observé n'y figure. La zone teintée sous la droite, de 1 à 15 °C, marque la plage où les huit jours ont été relevés. L'aire chiffrée que la figure affiche en dessous ne joue ici aucun rôle.

Ce qu'il faut regarder, c'est la bordure droite de la zone teintée. Rien n'y change : la droite la franchit sans marquer d'arrêt, garde exactement la même pente, et le point à 25 °C se pose dessus exactement comme celui à 6 °C. Le tracé ne signale donc jamais qu'on vient de sortir des données. C'est au lecteur de savoir où s'arrête la zone, et c'est pour cela qu'on écrit toujours la plage d'observation à côté de l'équation.

Une droite ne vaut que sur son domaine. Écrire toujours la plage sur laquelle l'ajustement a été construit, et refuser explicitement de prédire au-delà. C'est une phrase, et elle distingue un résultat d'un nombre.

La raison est simple : les moindres carrés minimisent l'écart sur les points fournis, et rien d'autre. En dehors, aucun point n'a jamais contredit la droite, donc rien ne l'a jamais corrigée. Son prolongement n'est pas une prédiction faible, c'est une prédiction sans information.

Corrélation n'est pas causalité

Une corrélation forte entre $X$ et $Y$ admet quatre explications, et une seule est « $X$ cause $Y$ » :

1. $X$ cause $Y$ ;
2. $Y$ cause $X$ (le sens est inversé) ;
3. une troisième variable $Z$ cause les deux, c'est le cas le plus fréquent ;
4. le hasard : sur un petit échantillon, ou quand on a comparé tant de paires de variables que l'une finit par sortir corrélée par chance.

Le quatuor d'Anscombe

Sur chacune des quatre figures, ce sont les résidus, les traits rouges, qu'il faut regarder : leur longueur et surtout la façon dont elle varie le long de la droite.

Les résidus sont courts, tantôt au-dessus tantôt en dessous, et sans ordre apparent. C'est exactement ce qu'on attend d'un ajustement honnête, et c'est le seul des quatre jeux où l'on voit cela.

Ici les résidus ont un ordre : négatifs aux deux bouts, positifs au milieu. Ce n'est pas du hasard qui se répartit, c'est une forme que la droite n'a pas captée. Dès qu'un résidu se devine à partir de la position du point, il reste un modèle à trouver.

Un seul résidu est long, tous les autres sont minuscules. C'est la signature d'une valeur aberrante : il faut aller voir d'où vient ce point, et si la droite calculée sans lui n'est pas la vraie réponse.

Cette fois, c'est l'axe des abscisses qu'il faut regarder : dix points occupent la même verticale, un seul est ailleurs. Une pente se mesure entre deux abscisses différentes ; il n'y en a ici que deux en tout, donc la droite relie le nuage vertical au point isolé, et rien d'autre. Déplacer ce point d'un centimètre déplace toute la droite.

Reprendre les quatre estimations. Les quatre jeux ont la même moyenne, la même variance, la même corrélation $r \approx 0{,}816$ et la même droite de régression $y = 0{,}5x + 3$, aux arrondis près.

Le classement n'avait donc rien à classer, et c'est tout l'intérêt de l'avoir écrit. Quatre nuages qui n'ont visiblement rien à voir rendent exactement les mêmes indicateurs. Aucun des nombres de ce chapitre ne distingue une droite d'une parabole, ni un vrai lien d'un point isolé qui décide de tout.

D'où la règle qu'établit le chapitre sur les deux variables, et qui ne souffre pas d'exception : le nuage se regarde avant que l'indicateur se calcule. Un $r$ de 0,816 rapporté sans figure est une affirmation invérifiable.

Les quatre figures ci-dessus s'affichent instantanément. Le bloc suivant refait le même travail en Python, pour qui veut la manière de le produire plutôt que le résultat.

Ce que montre le quatuor. Seul le premier jeu justifie une droite. Les trois autres appellent trois réponses différentes : un modèle du second degré, une enquête sur le point douteux, des observations à d'autres abscisses.

Quatre situations à traiter différemment, et des indicateurs identiques dans les quatre cas. C'est l'argument le plus court en faveur du nuage de points.

L'analyse complète sur le relevé de la chaufferie

Voici la démarche de bout en bout, avec les bibliothèques pandas et scipy (voir les chapitres pandas et SciPy). Trois temps : matrice de corrélation pour repérer les variables qui comptent, régression sur celle qui compte le plus, résidus pour vérifier que le modèle tient. Les données sont simulées, mais construites comme un vrai relevé : 240 jours de saison de chauffe, avec la température extérieure, l'ensoleillement en heures, le vent en km/h et la consommation de la chaufferie en MWh.

Ce que le code affiche se lit ligne à ligne. Dans la matrice, la colonne consommation donne $r \approx -0{,}815$ avec la température, $r \approx -0{,}359$ avec l'ensoleillement et $r \approx 0{,}018$ avec le vent : la température domine, l'ensoleillement compte aussi, le vent ne compte pas. La régression sur la température seule donne $y \approx -1{,}82x + 28{,}2$, soit environ 1,8 MWh de moins par degré, la pente déjà trouvée sur les huit journées, avec $r^2 \approx 0{,}665$ : la température explique 66 % de la variance de la consommation, sur une plage de −4,1 à 15,0 °C. D'après le tableau des lectures de $r$, la corrélation est forte et l'ajustement a du sens. La droite laisse pourtant de côté un tiers du phénomène, dont l'effet de l'ensoleillement, qu'aucune droite à une seule variable ne peut capter.

Et le tracé qui accompagne le rapport : le nuage avec sa droite, puis les résidus, c'est-à-dire les écarts entre observations et prédictions.

Le mot « entonnoir » demande à être vu. Sur le nuage ci-dessous, la droite est correcte et le coefficient de corrélation est honorable ($r \approx 0{,}91$) ; ce sont les résidus qui trahissent le problème, courts à gauche et longs à droite.

La méthode

1. Tracer le nuage. Toujours, et avant tout calcul.
2. Calculer le point moyen $G(\bar{x}, \bar{y})$ : il servira de contrôle.
3. Calculer $\operatorname{cov}$, $V(X)$, $V(Y)$ avec la forme « moyenne des produits moins produit des moyennes ».
4. Calculer $r$ avant la droite, et justifier que l'ajustement affine est légitime.
5. Écrire la droite $a = \operatorname{cov}/V(X)$, $b = \bar{y} - a\bar{x}$, et vérifier qu'elle passe par $G$.
6. Donner $r^2$ en pourcentage : c'est le chiffre qui parle.
7. Regarder les résidus. Informes, le modèle tient ; en courbe, il faut un autre modèle ; en entonnoir, aucune prévision ponctuelle sans son incertitude.
8. Préciser le domaine de validité et refuser d'extrapoler au-delà.
9. Ne jamais conclure à une causalité. Écrire explicitement la variable cachée possible.

Mettre en pratique

Covariance, corrélation et pente se calculent sur cinq points en trois minutes. Les faire une fois à la main est ce qui rend lisible ce qu'un logiciel affiche ensuite.

La dernière réponse est celle qui compte. Cinq points posés exactement sur une parabole donnent une somme nulle, donc un coefficient de corrélation nul, alors que $y$ est entièrement déterminé par $x$. Le nombre ne s'est pas trompé : il ne mesure que l'alignement, et il n'a jamais prétendu mesurer autre chose. C'est tout l'argument du nuage tracé avant le calcul.