Deux variables et estimation

Séries à deux variables

On mesure deux caractères sur les mêmes individus (une température et une résistance, une durée d'usage et une usure) et on cherche s'ils sont liés.

Nuage de points

On représente chaque individu par le point $(x_i, y_i)$. Le point moyen $G(\bar{x}, \bar{y})$ est le centre de gravité du nuage. Regarder le nuage avant de calculer quoi que ce soit est indispensable : lui seul révèle une relation courbe, un groupe à part, une valeur aberrante.

Voici les deux situations qu'aucun coefficient ne distingue. La première a un lien affine réel.

La seconde a un lien tout aussi fort, mais courbe. La droite y est calculable, elle est même la meilleure droite possible, et elle ne décrit rien.

Covariance

Pour mesurer si deux variables varient ensemble, on regarde, pour chaque individu, de quel côté de la moyenne tombe chacune de ses deux mesures.

En clair : un individu au-dessus de la moyenne sur les deux variables, ou en dessous sur les deux, donne un produit positif. Un individu au-dessus sur l'une et en dessous sur l'autre donne un produit négatif. La covariance fait la moyenne de ces produits : elle est positive si les deux variables montent ensemble, négative si l'une descend quand l'autre monte. La seconde écriture, comme pour la variance, sert au calcul.

La figure trace les deux droites qui passent par le point moyen $G$ et colore chaque point selon le signe de son produit.

Sur un nuage sans lien, les points se répartiraient dans les quatre quadrants, et les produits positifs et négatifs se compenseraient : la covariance serait proche de zéro. Ici aucun point ne tombe dans les quadrants négatifs.

La covariance a un défaut : sa valeur dépend des unités. Mesurer la température en kelvins ou les locations en unités plutôt qu'en centaines la multiplie par 100, sans que le lien ait changé. Elle dit le sens du lien, pas sa force. Pour la force, on la normalise.

Coefficient de corrélation

En divisant par les deux écarts-types, on fait disparaître les unités : $r$ ne change pas quand on change d'unité sur l'une ou l'autre variable. Sa lecture :

• $r$ proche de 1 : les points sont presque alignés sur une droite croissante ;
• $r$ proche de −1 : presque alignés sur une droite décroissante ;
• $r$ proche de 0 : aucune relation linéaire, ce qui n'exclut pas une relation d'un autre type.

Son carré $r^2$, affiché sous les nuages, se lit comme la part de la variation de $y$ expliquée par la droite. Pour $r = 0{,}8$, $r^2 = 0{,}64$ : la droite explique moins des deux tiers de la variation, alors que 0,8 sonne comme un lien très fort.

Ce n'est pas une figure de style. Voici neuf points posés exactement sur une parabole : $y$ est entièrement déterminé par $x$, il n'y a aucun hasard, et pourtant le coefficient de corrélation est nul.

Les neuf abscisses sont symétriques autour de zéro, donc leur moyenne est nulle. La covariance vaut $\frac{1}{9}\sum x_i\,(y_i - \bar{y})$, et comme $y_i = x_i^2$ est une fonction paire, chaque terme d'abscisse $-x$ annule exactement celui d'abscisse $+x$. La somme est nulle, donc $r = 0$, alors que $y$ est entièrement déterminé par $x$.

En termes de quadrants : les points de droite tombent dans un quadrant positif, ceux de gauche dans le quadrant négatif symétrique, et les deux se compensent exactement. Un coefficient de corrélation nul ne dit pas « pas de lien », il dit « pas de lien linéaire ».

Droite de régression

Les deux formules se lisent. La pente $a$ a le signe de la covariance, donc de $r$ : la droite monte si le nuage monte. Et la seconde formule s'écrit aussi $\bar{y} = a\,\bar{x} + b$ : la droite passe toujours par le point moyen $G(\bar{x}, \bar{y})$. C'est le contrôle à faire sur toute droite calculée à la main.

« Moindres carrés » n'est pas une formule tombée du ciel, c'est une recherche. La figure suivante dessine le carré construit sur chaque résidu et en affiche la somme ; la droite se règle à la main.

L'ajustement sert à interpoler (estimer une valeur à l'intérieur du domaine observé) et, avec prudence, à extrapoler. L'extrapolation loin des données observées est le péché classique : rien ne garantit que la relation linéaire se prolonge. À 45 °C, cette droite promet 6 200 locations ; en réalité, plus personne ne pédale.

Le calcul a deux fautes rituelles : diviser la covariance par la variance de $y$ au lieu de celle de $x$, et se tromper de signe dans $b = \bar{y} - a\bar{x}$. L'exercice suivant les fait rencontrer sur cinq points, jusqu'à ce que la procédure soit acquise. Le chapitre corrélation et moindres carrés la reprend sur des mesures physiques.

Échantillonnage et estimation

Jusqu'ici on décrivait des données. Ici on veut en tirer une conclusion sur une population qu'on n'a pas entièrement observée : le taux de défauts d'une production entière, à partir de quelques centaines de pièces contrôlées.

Une estimation n'est jamais exacte : un autre échantillon aurait donné une autre fréquence. Ce qu'on peut donner, c'est un intervalle et un niveau de confiance.

D'où vient l'intervalle

Sur un échantillon de $n$ individus, le nombre de « oui » suit une loi binomiale $\mathcal{B}(n, p)$, d'espérance $np$ et d'écart-type $\sqrt{np(1-p)}$. La fréquence $f$ est ce nombre divisé par $n$, donc

En clair : la fréquence observée tombe en moyenne sur la bonne valeur, et s'en écarte typiquement de $\sqrt{p(1-p)/n}$. Quand $n$ est grand, la binomiale est proche d'une loi normale, et 95 % des valeurs d'une loi normale tombent à moins de $1{,}96$ écart-type de sa moyenne : c'est le nombre que la figure du chapitre précédent faisait chercher. D'où l'intervalle, où l'on remplace $p$, inconnu, par $f$ :

La simplification n'est pas une approximation hasardeuse. Le produit $f(1-f)$ ne dépasse jamais $\frac{1}{4}$, atteint pour $f = 0{,}5$. Donc $1{,}96\sqrt{\frac{f(1-f)}{n}} \leq 1{,}96 \times \dfrac{1}{2\sqrt{n}} = \dfrac{0{,}98}{\sqrt{n}}$, qui est inférieur à $\dfrac{1}{\sqrt{n}}$. L'intervalle simplifié contient toujours l'intervalle exact : il est prudent, et d'autant plus large que $f$ est loin de 0,5.

Ce que « 95 % de confiance » veut dire

La figure suivante connaît la vraie proportion, $p = 0{,}3$, trait vertical fixe. Elle tire cinquante échantillons de cent individus, calcule sur chacun sa fréquence et son intervalle, et les empile. Ceux qui manquent la vraie valeur sont colorés.

À l'ouverture, 48 intervalles sur 50 contiennent la vraie valeur. Les deux qui la manquent viennent d'échantillons malchanceux, l'un avec trop de « oui », l'autre avec trop peu, et rien, vu depuis l'échantillon, ne permettait de le savoir : ils ont été calculés exactement comme les autres.

Et la conséquence pratique la plus importante : la largeur de l'intervalle est en $\dfrac{1}{\sqrt{n}}$. Pour diviser l'incertitude par deux, il faut multiplier la taille de l'échantillon par quatre. C'est ce qui rend la précision coûteuse : passer de ±5 points à ±1 point demande vingt-cinq fois plus d'individus, de 400 à 10 000.

L'intervalle de confiance d'une moyenne

Une mesure physique répétée ne donne pas une proportion mais une moyenne, et la même logique s'applique. Si $n$ mesures indépendantes ont pour moyenne $\bar{x}$ et pour écart-type $s$, la moyenne observée s'écarte typiquement de la vraie valeur de $s/\sqrt{n}$, et pour $n$ assez grand, environ 30 ou plus :

Exemple travaillé. Cinquante mesures du temps de démarrage d'un service donnent $\bar{x} = 4{,}20$ s et $s = 0{,}60$ s. L'écart-type de la moyenne vaut $0{,}60/\sqrt{50} \approx 0{,}085$ s, et l'intervalle est $4{,}20 \pm 1{,}96 \times 0{,}085$, soit $[4{,}03 \,;\, 4{,}37]$ s.

Où la démarche dérape

Une droite juste, un coefficient excellent, et une prévision qui n'a aucun sens.

À calculer soi-même

Trois nombres : une droite, une précision, et le prix d'une précision deux fois meilleure.

Exercices type

La méthode

1. Tracer le nuage avant de calculer un coefficient. Une corrélation nulle n'exclut pas une dépendance, elle exclut seulement une dépendance linéaire.
2. Poser le tableau des écarts : la somme de chaque colonne d'écarts doit être nulle, et c'est le contrôle qui ne coûte rien.
3. Calculer $r$ avant d'écrire la droite, et justifier que l'ajustement est légitime.
4. Contrôler la droite : elle passe par le point moyen, et sa pente a le signe de $r$.
5. Regarder les résidus : dispersés sans forme, le modèle affine convient ; dessinant une courbe, il ne convient pas, quel que soit $r$.
6. Ne jamais conclure à une causalité à partir d'une corrélation. L'écrire noir sur blanc est souvent une question à part entière.
7. Pour un intervalle de confiance, rappeler la taille de l'échantillon et vérifier les conditions : c'est $n$ qui fait la précision.
8. Interpoler, extrapoler seulement en le disant, et vérifier que la prévision garde un sens physique.

Synthèse

• Covariance $\operatorname{cov}(x,y) = \frac{1}{N}\sum (x_i - \bar{x})(y_i - \bar{y})$ : le sens du lien. Corrélation $r = \dfrac{\operatorname{cov}}{\sigma_x\sigma_y}$, entre −1 et 1 : sa force.
• Corrélation ≠ causalité, et $r = 0$ ≠ indépendance. Regarder toujours le nuage, puis les résidus.
• $r^2$ se lit comme la part de la variation de $y$ que la droite explique : $r = 0{,}8$ n'en explique que 64 %.
• Régression : $a = \dfrac{\operatorname{cov}(x,y)}{V(x)}$, $b = \bar{y} - a\bar{x}$. La droite passe par le point moyen.
• Une droite ne vaut que sur le domaine observé : extrapoler loin des mesures produit des prévisions absurdes.
• Intervalle de confiance à 95 % d'une proportion : $f \pm 1{,}96\sqrt{f(1-f)/n}$, ou $f \pm 1/\sqrt{n}$ plus prudent.
• Intervalle de confiance à 95 % d'une moyenne : $\bar{x} \pm 1{,}96\,s/\sqrt{n}$, avec $s$ calculé en divisant par $n - 1$.
• Le 95 % qualifie la méthode, pas l'intervalle qu'on a sous les yeux. Pour deux fois plus de précision, quatre fois plus de données.