Statistiques

Le vocabulaire

Un caractère quantitatif est discret s'il prend des valeurs isolées, comme le nombre de vélos loués. Il est continu s'il peut prendre n'importe quelle valeur d'un intervalle, comme une température : on le regroupe alors en classes.

Effectifs et fréquences

L'effectif $n_i$ est le nombre d'individus présentant la modalité $x_i$, et $\sum n_i = N$. La fréquence $f_i = n_i/N$ en est la proportion, et $\sum f_i = 1$, c'est le premier contrôle d'un tableau.

L'effectif cumulé croissant $N_i$ compte les individus dont la modalité est inférieure ou égale à $x_i$ ; la fréquence cumulée $F_i = N_i/N$ en est la proportion. C'est sur ces cumuls que se lisent directement médiane et quantiles.

Regrouper en classes

Un caractère continu ne se compte pas modalité par modalité. Sur mille températures relevées au dixième de degré, chaque valeur apparaît une fois ou deux, et le tableau d'effectifs n'apprend rien. On regroupe alors les valeurs en classes, c'est-à-dire en intervalles contigus.

Le nombre de classes est un compromis : trop peu, la forme disparaît ; trop, chaque classe ne contient plus qu'une ou deux valeurs et le bruit reprend le dessus. La règle de Sturges, $k \approx 1 + \log_2 N$, donne un point de départ raisonnable, et c'est celle qu'appliquent les tableurs par défaut.

D'où sort ce logarithme ? La règle suppose que les données se répartissent en cloche, et approche cette cloche par les coefficients binomiaux. Avec $k$ classes, les effectifs idéaux seraient $\binom{k-1}{0}, \binom{k-1}{1}, \dots, \binom{k-1}{k-1}$, c'est-à-dire une ligne du triangle de Pascal : petite aux bords, forte au centre. Or la somme d'une ligne du triangle vaut $2^{k-1}$.

En posant que ces effectifs doivent totaliser les $N$ observations, $2^{k-1} = N$, d'où $k - 1 = \log_2 N$ et donc $k = 1 + \log_2 N$. Sur les douze jours de locations étudiés plus bas, $1 + \log_2 12 \approx 4{,}6$ : on arrondit à cinq classes.

L'histogramme montre ce qu'aucun indicateur ne dit : la série n'a pas une seule bosse au milieu, elle décroît vers la droite avec une valeur isolée tout au bout. C'est exactement ce qu'une moyenne, à elle seule, cacherait.

Lire un quantile sur les cumuls

Les fréquences cumulées répondent à la question « quelle proportion des valeurs est inférieure à tant ? ». Renversée, elle donne les quantiles : on entre par l'ordonnée, on redescend sur l'abscisse.

Ce qu'il faut regarder ici est la pente de la courbe, et non sa hauteur. Là où elle monte raide, les valeurs s'entassent ; là où elle s'aplatit, il n'y a presque personne. Le long palier de droite dit donc à lui seul que les fortes journées sont rares et isolées. L'écartement des trois pointillés ajoute que la moitié haute de la série est bien plus étalée que la moitié basse.

Indicateurs de position

Ils répondent à « où se situe le centre des données ? ».

Moyenne

$\bar{x} = \frac{\sum n_i x_i}{N}$

En clair : chaque modalité $x_i$ est multipliée par le nombre d'individus $n_i$ qui la présentent, on additionne le tout, et l'on divise par l'effectif total $N$. Sur une liste de valeurs brutes, où chaque valeur ne figure qu'une fois, cela revient à leur somme divisée par leur nombre. La moyenne est le centre de gravité de la série : elle utilise toutes les valeurs, ce qui est sa force et sa faiblesse.

Le mot « centre de gravité » est à prendre au pied de la lettre. Si l'on pose les valeurs sur une règle, une masse égale sur chacune, la moyenne est le point où la règle tient en équilibre. Une valeur éloignée agit comme un bras de levier : plus elle est loin, plus elle déplace le point d'équilibre, et elle le fait à elle seule.

Le calcul le montre en deux lignes. Sur les neuf valeurs $11, 12, 13, 13, 14, 15, 16, 18, 42$, la somme vaut 154 et la moyenne $154/9 \approx 17{,}1$. En remplaçant le 42 par 86, la somme passe à 198, et la moyenne à $198/9 =$ 22,0. Une seule valeur a bougé, et la moyenne a gagné près de cinq points. La médiane, elle, n'a pas bougé d'un millimètre : elle valait 14 avant, elle vaut 14 après.

Comparer les deux boîtes, et rien d'autre : elles sont à la même place, alors que les deux séries n'ont pas du tout la même moyenne. La valeur à 4 000 ms n'a pas déformé le résumé, elle s'est simplement exposée à part : l'incident reste visible sans contaminer la description du fonctionnement courant.

Médiane

La méthode, en deux temps qu'on n'inverse jamais :

1. Ordonner la série dans l'ordre croissant.
2. Si $N$ est impair, prendre la valeur de rang $(N+1)/2$. Si $N$ est pair, prendre la moyenne des valeurs de rang $N/2$ et $N/2 + 1$.

Mode

Le mode est la modalité de plus grand effectif. C'est le seul indicateur de position disponible pour un caractère qualitatif : la saison la plus fréquente a un sens, la saison moyenne non.

Sur une série symétrique, les trois indicateurs coïncident. Sur une série étirée d'un côté, ils se séparent, et l'ordre dans lequel ils se placent renseigne sur le sens de l'étirement. La figure suivante montre le cas de référence : regarder si les deux moitiés de la cloche, de part et d'autre du sommet, sont superposables.

Les trois cas, sur trois séries de dix valeurs. Dans chaque figure, le trait épais est la médiane et le losange la moyenne. Une seule chose est à regarder dans les trois : de quel côté du trait tombe le losange, et à quelle distance.

Premier cas, la série symétrique. Les valeurs se répartissent également de part et d'autre du centre.

Deuxième cas, la série étirée vers le haut. C'est celui des temps de réponse, des salaires, des durées d'attente : beaucoup de petites valeurs, quelques très grandes.

Troisième cas, la série étirée vers le bas. Plus rare en informatique, on la rencontre sur des rendements ou des taux de disponibilité, bornés par le haut, où quelques pannes isolées tirent vers le bas.

Quantiles

En pratique, sur une série ordonnée de $N$ valeurs, la règle tient en une phrase : couper la série en deux moitiés et prendre la médiane de chacune. $Q_1$ est la médiane de la moitié basse, $Q_3$ celle de la moitié haute. Quand $N$ est impair, la médiane de la série n'appartient à aucune des deux moitiés. C'est la règle qu'appliquent les boîtes à moustaches de ce site, et tous les exemples chiffrés du cours.

Sur les douze relevés 12 15 15 18 21 22 24 27 31 33 40 62, la moitié basse est 12 15 15 18 21 22, de médiane $(15 + 18)/2 = 16{,}5$ : c'est $Q_1$. La moitié haute 24 27 31 33 40 62 donne $Q_3 = (31 + 33)/2 = 32$.

Indicateurs de dispersion

Ils répondent à « les données sont-elles serrées ou étalées ? ». Deux séries de même moyenne peuvent être radicalement différentes.

Étendue et écart interquartile

L'étendue est $\max - \min$. Simple, et entièrement déterminée par les deux valeurs les plus douteuses de la série.

L'écart interquartile $\mathrm{IQR} = Q_3 - Q_1$ mesure l'étalement des 50 % centraux. Il ignore les extrêmes par construction : c'est un indicateur robuste, et c'est celui qui servira à détecter les anomalies au chapitre 5.

Variance et écart-type

Les deux écritures sont la même, et passer de l'une à l'autre tient en trois lignes. Développer le carré donne $x_i^2 - 2x_i\bar{x} + \bar{x}^2$, puis on distribue la somme sur les trois termes :

• $\sum n_ix_i^2 / N$ est la moyenne des carrés ;
• $-2\bar{x} \times \sum n_ix_i / N$ vaut $-2\bar{x} \times \bar{x} = -2\bar{x}^2$, puisque $\sum n_ix_i / N$ est précisément la moyenne ;
• $\bar{x}^2 \times \sum n_i / N$ vaut $\bar{x}^2$, puisque $\sum n_i = N$.

En additionnant : $-2\bar{x}^2 + \bar{x}^2 = -\bar{x}^2$, d'où la moyenne des carrés moins le carré de la moyenne.

Le coefficient de variation $CV = \sigma /\bar{x}$ est sans unité, puisque l'écart-type et la moyenne portent la même unité et qu'elle se simplifie. Il permet de comparer la dispersion de deux séries d'échelles différentes, par exemple une charge CPU en pourcentage et un trafic réseau en Mo/s.

Un calcul complet, à la main

Les locations quotidiennes d'un service de vélos sur 12 jours, en centaines :

12, 15, 15, 18, 21, 22, 24, 27, 31, 33, 40, 62

La série est déjà ordonnée, $N = 12$.

Dans la ligne de la variance, $10642$ est la somme des carrés des douze valeurs. Le carré de la moyenne se prend sur la fraction exacte $320/12$ : avec la valeur arrondie $26{,}67$, on trouverait $175{,}5$. Arrondir en cours de calcul, puis élever au carré, amplifie l'erreur.

Trois lectures immédiates, et elles valent plus que les nombres :

1. Moyenne (26,7) nettement supérieure à la médiane (23) : la série est étirée vers le haut. Une journée exceptionnelle tire la moyenne.
2. $CV = 13{,}26/26{,}67 \approx 0{,}50$ : l'écart typique vaut la moitié de la moyenne. C'est une série très dispersée, prévoir « 2 670 locations demain » serait absurde.
3. La valeur 62 dépasse $Q_3 + 1{,}5 \times \mathrm{IQR} = 55{,}25$ : c'est une valeur aberrante au sens de la boîte à moustaches. À enquêter, pas à supprimer.

La boîte à moustaches

Son intérêt n'est pas de résumer une série (un tableau le fait mieux) mais d'en comparer plusieurs d'un seul coup d'œil : quatre saisons, sept jours de la semaine, trois serveurs.

Deux comparaisons se font d'un seul regard, et aucune ne demande un chiffre. La hauteur des boîtes d'abord : celle de l'été est entièrement au-dessus de celle de l'hiver, donc même le pire jour d'été dépasse le meilleur jour d'hiver. Leur longueur ensuite : la boîte de la série complète est la plus étirée des trois, et c'est la seule à porter une valeur aberrante. La raison tient en un mot : elle mélange des saisons qui ne se situent pas au même niveau. Un service dimensionné sur l'ensemble de l'année serait donc trop large l'hiver et trop juste l'été.

Travailler sur des données tabulaires

En pratique, les données arrivent en table : une ligne par observation, une colonne par caractère. Le travail statistique sur une telle table tient en trois questions, et c'est l'ordre dans lequel les poser qui compte. L'outil, lui, s'apprend ailleurs : le parcours Python couvre pandas, dont trois méthodes suffisent ici.

Première question : à quoi ressemble chaque colonne ? Un résumé par colonne donne d'un coup l'effectif, la moyenne, l'écart-type, le minimum, les trois quartiles et le maximum. Sur un relevé de 240 journées de location de vélos :

Trois choses s'y lisent déjà. Les locations ont un écart-type qui vaut plus du tiers de leur moyenne, donc la série est dispersée. Leur médiane dépasse leur moyenne, donc la distribution est étirée vers le bas. Et le minimum à 50 est très loin du premier quartile, ce qui signale une poignée de journées hors norme à comprendre.

Deuxième question : les sous-populations se ressemblent-elles ? C'est la question qui décide d'à peu près toutes les actions. Regrouper par saison :

Les quatre saisons sont numérotées de la plus froide à la plus chaude. La moyenne monte avec la température, ce qui n'étonne personne, mais l'écart-type descend : plus il fait chaud, plus la fréquentation est prévisible. C'est une information de dimensionnement que la moyenne seule ne donne pas.

Puis par type de jour : 1 590 locations en moyenne un jour ouvré, contre 966 sinon, soit un écart de 623 locations par jour. À comparer aux 757 locations qui séparent la saison la plus froide de la plus chaude : le jour de la semaine pèse presque autant que la saison, alors que c'est la saison à laquelle on pense en premier. Un service dimensionné sur la moyenne générale serait donc mal réglé la plupart du temps, et la moyenne générale est précisément le chiffre que l'on cite d'abord.

Troisième question : la forme confirme-t-elle les nombres ? Un résumé peut cacher deux bosses, et aucune moyenne ne les distingue. Il faut donc regarder la distribution complète, puis les sous-populations côte à côte.

Séries à deux variables

On mesure deux caractères sur les mêmes individus (une température et une résistance, une durée d'usage et une usure) et on cherche s'ils sont liés.

Nuage de points

On représente chaque individu par le point $(x_i, y_i)$. Le point moyen $G(\bar{x}, \bar{y})$ est le centre de gravité du nuage. Regarder le nuage avant de calculer quoi que ce soit est indispensable : lui seul révèle une relation courbe, un groupe à part, une valeur aberrante.

Voici les deux situations qu'aucun coefficient ne distingue. La première a un lien affine réel.

La seconde a un lien tout aussi fort, mais courbe. La droite y est calculable, elle est même la meilleure droite possible, et elle ne décrit rien.

Covariance et corrélation

La covariance est positive si les deux variables varient dans le même sens, négative sinon. Mais sa valeur dépend des unités, donc elle ne se compare pas. On la normalise :

Sa lecture :

• $r$ proche de 1 : les points sont presque alignés sur une droite croissante ;
• $r$ proche de −1 : presque alignés sur une droite décroissante ;
• $r$ proche de 0 : aucune relation linéaire, ce qui n'exclut pas une relation d'un autre type.

Ce n'est pas une figure de style. Voici neuf points posés exactement sur une parabole : y est entièrement déterminé par x, il n'y a aucun hasard, et pourtant le coefficient de corrélation est nul.

Les neuf abscisses sont symétriques autour de zéro, donc leur moyenne est nulle. La covariance vaut $\frac{1}{9}\sum x_i\,(y_i - \bar{y})$, et comme $y_i = x_i^2$ est une fonction paire, chaque terme d'abscisse $-x$ annule exactement celui d'abscisse $+x$. La somme est nulle, donc $r = 0$, alors que $y$ est entièrement déterminé par $x$.

La raison se voit sur la figure : la moitié gauche descend, la moitié droite monte, et les deux se compensent exactement dans le calcul de la covariance. Un coefficient de corrélation nul ne dit pas « pas de lien », il dit « pas de lien linéaire ».

Droite de régression

Deux faits à retenir : la droite passe toujours par le point moyen $G(\bar{x}, \bar{y})$ (c'est d'ailleurs le contrôle à faire), et le coefficient directeur a le même signe que r.

L'ajustement sert à interpoler (estimer une valeur à l'intérieur du domaine observé) et, avec prudence, à extrapoler. L'extrapolation loin des données observées est le péché classique : rien ne garantit que la relation linéaire se prolonge.

Échantillonnage et estimation

Jusqu'ici on décrivait des données. Ici on veut en tirer une conclusion sur une population qu'on n'a pas entièrement observée.

Une estimation n'est jamais exacte. Ce qu'on peut donner, c'est un intervalle et un niveau de confiance.

Exemple travaillé. Sur 400 pièces contrôlées, 24 sont défectueuses.

$f = 24/400 = 0{,}06$, et $1/\sqrt{400} = 1/20 = 0{,}05$.

L'intervalle simplifié est $[0{,}01 ; 0{,}11]$. On peut affirmer, avec 95 % de confiance, que le taux réel de défauts est entre 1 % et 11 %.

Et la conséquence pratique la plus importante : la largeur de l'intervalle est en $1/\sqrt{n}$. Pour diviser l'incertitude par deux, il faut multiplier la taille de l'échantillon par quatre. C'est ce qui rend la précision coûteuse.

Vérification

D'autres questions

Moyenne et médiane, autant de fois qu'il faut

Le chapitre affirme que la médiane résiste aux valeurs aberrantes et que la moyenne non. L'exercice demande les deux indicateurs, puis les redemande sur la même série dont la plus grande valeur a été décuplée.

Comparer les deux couples de réponses. La médiane n'a pas bougé d'un point, parce qu'elle ne voit que l'ordre des valeurs et jamais leur amplitude. La moyenne s'est déplacée exactement de la valeur extrême, parce qu'un relevé sur neuf y pèse un neuvième d'une augmentation qui vaut neuf fois cette valeur.

Où la démarche dérape

Deux moyennes, une moyenne des deux, et un résultat qui ne veut rien dire.

À calculer soi-même

Quatre nombres sur la série $2, 5, 7, 10, 11$ et sur l'échantillonnage. Le dernier est la question qu'on se pose avant de lancer une enquête, et non après.

Exercices type

La méthode

Devant une série de mesures, dans cet ordre et jamais l'inverse.

1. Regarder la forme avant de calculer quoi que ce soit : un histogramme, ou au minimum le minimum, le maximum et la médiane. Une moyenne calculée sur une série bimodale décrit un individu qui n'existe pas.
2. Choisir l'indicateur selon la forme. Série symétrique sans valeur extrême : moyenne et écart-type. Série dissymétrique ou avec des valeurs aberrantes : médiane et écart interquartile.
3. Compter les valeurs aberrantes avant de les retirer, et dire pourquoi on les retire. Une mesure fausse se retire ; une mesure rare se garde.
4. Vérifier l'ordre de grandeur : l'écart-type doit être petit devant l'étendue, et la médiane doit tomber entre le premier et le troisième quartile.
5. Pour une série double, tracer le nuage avant de calculer un coefficient. Une corrélation nulle n'exclut pas une dépendance, elle exclut seulement une dépendance linéaire.

Le détail des calculs sur feuille

1. Ordonner la série avant tout calcul de médiane ou de quartile. C'est l'oubli le plus fréquent.
2. Vérifier que la somme des effectifs correspond bien à N, et que les fréquences somment à 1.
3. Donner toujours moyenne et écart-type ensemble : l'un sans l'autre ne décrit rien.
4. Comparer moyenne et médiane : leur écart est déjà une conclusion sur la symétrie de la série.
5. Pour deux variables, calculer $r$ avant d'écrire la droite, et justifier que l'ajustement est légitime.
6. Contrôler la droite : elle doit passer par le point moyen.
7. Ne jamais conclure à une causalité à partir d'une corrélation. L'écrire noir sur blanc est souvent une question à part entière.
8. Pour un intervalle de confiance, rappeler la taille de l'échantillon : c'est elle qui fait la précision.

Synthèse

• Population, individu, caractère, modalité. Un caractère qualitatif n'a ni moyenne ni écart-type.
• $\sum n_i = N$ et $\sum f_i = 1$ : le contrôle qui prend trois secondes. Les cumuls $N_i$ et $F_i$ servent ensuite à lire médiane et quantiles.
• Moyenne : centre de gravité, utilise tout, sensible aux extrêmes. Médiane : robuste. Mode : seul indicateur des caractères qualitatifs.
• Quantiles $Q_1$, $Q_3$ → $\mathrm{IQR} = Q_3 - Q_1$, dispersion robuste des 50 % centraux.
• Variance $V = (\sum n_ix_i^2)/N - \bar{x}^2$, écart-type $\sigma = \sqrt{V}$, dans l'unité des données.
• Diviser par $N$ pour décrire, par $N - 1$ pour estimer. numpy et pandas ne font pas le même choix par défaut.
• Coefficient de variation $CV = \sigma /\bar{x}$ : sans unité, pour comparer des séries d'échelles différentes.
• Boîte à moustaches : cinq nombres, aberrantes au-delà de $1{,}5 \times \mathrm{IQR}$. Faite pour comparer des séries.
• Une valeur aberrante s'explique, elle ne s'efface pas.
• describe() puis groupby() : les deux premières commandes sur un jeu de données inconnu.
• Moyenne : centre de gravité, utilise tout, sensible aux extrêmes. Médiane : partage en deux moitiés, robuste.
• Quartiles $Q_1$, $Q_3$ → écart interquartile $Q_3 - Q_1$, dispersion des 50 % centraux.
• Variance $V = (\sum n_ix_i^2)/N - \bar{x}^2$, écart-type $\sigma = \sqrt{V}$, dans l'unité des données.
• Ajouter une constante ne change pas l'écart-type ; multiplier par k multiplie moyenne et écart-type par k.
• Boîte à moustaches : min, $Q_1$, Me, $Q_3$, max, pour comparer plusieurs séries d'un coup d'œil.
• Corrélation $r = \operatorname{cov}/(\sigma _x\sigma _y)$, entre −1 et 1. Proche de ±1 = points alignés.
• Corrélation ≠ causalité, et $r = 0$ ≠ indépendance. Regarder toujours le nuage.
• Régression : $a = \operatorname{cov}/V(x)$, $b = \bar{y} - a\bar{x}$. La droite passe par le point moyen.
• Intervalle de confiance à 95 % d'une proportion : $f \pm 1/\sqrt{n}$. Pour deux fois plus de précision, quatre fois plus de données.