Statistique descriptive

Le vocabulaire

Un caractère quantitatif est discret s'il prend des valeurs isolées, comme le nombre de colis expédiés dans une journée. Il est continu s'il peut prendre n'importe quelle valeur d'un intervalle, comme une température : on le regroupe alors en classes.

Effectifs et fréquences

Le fil des premières sections : le nombre d'incidents relevés chaque jour sur un service, pendant $N = 20$ jours.

Les deux contrôles se font d'un regard : les effectifs totalisent 20, les fréquences 1, et le dernier cumul vaut bien $N$. Les cumuls répondent directement aux questions de seuil : 85 % des jours comptent au plus deux incidents, et un jour sur vingt en compte quatre. C'est aussi sur eux que se lisent médiane et quantiles, plus bas.

Regrouper en classes

Un caractère continu ne se compte pas modalité par modalité. Sur mille températures relevées au dixième de degré, chaque valeur apparaît une fois ou deux, et le tableau d'effectifs n'apprend rien. On regroupe alors les valeurs en classes, c'est-à-dire en intervalles contigus.

Le nombre de classes est un compromis : trop peu, la forme disparaît ; trop, chaque classe ne contient plus qu'une ou deux valeurs et le bruit reprend le dessus. La règle de Sturges donne un point de départ raisonnable, et c'est celle qu'appliquent les tableurs par défaut :

D'où sort ce logarithme ? La règle suppose que les données se répartissent en cloche, et approche cette cloche par les coefficients binomiaux. Avec $k$ classes, les effectifs idéaux seraient $\binom{k-1}{0}, \binom{k-1}{1}, \dots, \binom{k-1}{k-1}$, c'est-à-dire une ligne du triangle de Pascal : petite aux bords, forte au centre. Or la somme d'une ligne du triangle vaut $2^{k-1}$.

En posant que ces effectifs doivent totaliser les $N$ observations, $2^{k-1} = N$, d'où $k - 1 = \log_2 N$ et donc $k = 1 + \log_2 N$. Sur les douze journées d'expédition étudiées plus bas, $1 + \log_2 12 \approx 4{,}6$ : on arrondit à cinq classes.

L'histogramme montre ce qu'aucun indicateur ne dit : la série n'a pas une seule bosse au milieu, elle décroît vers la droite avec une valeur isolée tout au bout. C'est exactement ce qu'une moyenne, à elle seule, cacherait.

Calculer sur des classes

Quand seules les classes sont connues, et non les valeurs, chaque classe est représentée par son centre, le milieu de l'intervalle. Les calculs de moyenne et de variance se font alors comme sur un tableau d'effectifs, avec les centres à la place des valeurs.

Exemple travaillé. Quarante temps de réponse, en millisecondes, regroupés en quatre classes.

La moyenne vaut $\bar{x} \approx \dfrac{580}{40} = 14{,}5$ ms. Le signe $\approx$ n'est pas une coquetterie : on suppose que les valeurs de chaque classe sont en moyenne au centre, ce qui est faux dans le détail. Le résultat est une estimation, d'autant meilleure que les classes sont étroites.

Lire un quantile sur les cumuls

Les fréquences cumulées répondent à la question « quelle proportion des valeurs est inférieure à tant ? ». Renversée, elle donne les quantiles : on entre par l'ordonnée, on redescend sur l'abscisse.

Ce qu'il faut regarder ici est la pente de la courbe, et non sa hauteur. Là où elle monte raide, les valeurs s'entassent ; là où elle s'aplatit, il n'y a presque personne. Le long palier de droite dit donc à lui seul que les fortes journées sont rares et isolées. L'écartement des trois pointillés ajoute que la moitié haute de la série est bien plus étalée que la moitié basse.

Indicateurs de position

Ils répondent à « où se situe le centre des données ? ».

Moyenne

En clair : chaque modalité $x_i$ est multipliée par le nombre d'individus $n_i$ qui la présentent, on additionne le tout, et l'on divise par l'effectif total $N$. Sur une liste de valeurs brutes, où chaque valeur ne figure qu'une fois, cela revient à leur somme divisée par leur nombre. La seconde écriture dit la même chose avec les fréquences : c'est exactement l'espérance du chapitre sur les probabilités, où les fréquences observées tiennent lieu de probabilités.

Sur les incidents : $\bar{x} = \dfrac{0 \times 6 + 1 \times 7 + 2 \times 4 + 3 \times 2 + 4 \times 1}{20} = \dfrac{25}{20} = 1{,}25$ incident par jour.

La moyenne est le centre de gravité de la série, et le mot est à prendre au pied de la lettre. Si l'on pose les valeurs sur une règle, une masse égale sur chacune, la moyenne est le point où la règle tient en équilibre. Elle utilise toutes les valeurs, ce qui est sa force et sa faiblesse : une valeur éloignée agit comme un bras de levier. Plus elle est loin, plus elle déplace le point d'équilibre, et elle le fait à elle seule.

Le calcul le montre en deux lignes. Sur les neuf valeurs $11, 12, 13, 13, 14, 15, 16, 18, 42$, la somme vaut 154 et la moyenne $154/9 \approx 17{,}1$. En remplaçant le 42 par 86, la somme passe à 198, et la moyenne à $198/9 =$ 22,0. Une seule valeur a bougé, et la moyenne a gagné près de cinq points. La médiane, elle, n'a pas bougé d'un millimètre : elle valait 14 avant, elle vaut 14 après.

La règle qui suit de là. La médiane ne dépend que du rang des valeurs, pas de leur grandeur. Déplacer la plus grande valeur de la série à l'infini ne la change pas d'un iota. C'est ce qu'on appelle un indicateur robuste, et c'est la raison pour laquelle on publie une médiane, et non une moyenne, dès qu'une série peut contenir des valeurs extrêmes.

Comparer les deux boîtes, et rien d'autre : elles sont à la même place, alors que les deux séries n'ont pas du tout la même moyenne. La valeur à 4 000 ms n'a pas déformé le résumé, elle s'est simplement exposée à part : l'incident reste visible sans contaminer la description du fonctionnement courant.

Médiane

La méthode, en deux temps qu'on n'inverse jamais :

1. Ordonner la série dans l'ordre croissant.
2. Si $N$ est impair, prendre la valeur de rang $\dfrac{N+1}{2}$. Si $N$ est pair, prendre la moyenne des valeurs de rang $\dfrac{N}{2}$ et $\dfrac{N}{2} + 1$.

Sur un tableau d'effectifs, les rangs se lisent dans les cumuls. Pour les 20 jours d'incidents, il faut les valeurs de rang 10 et 11. Les 6 premiers rangs valent 0, les rangs 7 à 13 valent 1 (le cumul passe de 6 à 13) : les deux valeurs cherchées valent 1, donc $Me = 1$. La moitié des jours compte au plus un incident, alors que la moyenne est de 1,25 : les quelques jours à 3 ou 4 incidents tirent la moyenne vers le haut.

Mode

Le mode est la modalité de plus grand effectif : 1 incident pour la série ci-dessus, avec 7 jours. C'est le seul indicateur de position disponible pour un caractère qualitatif : le type de défaut le plus fréquent a un sens, le défaut moyen non.

Sur une série symétrique, les trois indicateurs coïncident. Sur une série étirée d'un côté, ils se séparent, et l'ordre dans lequel ils se placent renseigne sur le sens de l'étirement. La figure suivante montre le cas de référence : regarder si les deux moitiés de la cloche, de part et d'autre du sommet, sont superposables.

L'ordre des trois indicateurs raconte la forme.

• Série symétrique : moyenne = médiane = mode.
• Série étirée vers le haut (une queue de grandes valeurs, comme des temps de réponse) : mode < médiane < moyenne. La moyenne est tirée par la queue.
• Série étirée vers le bas : l'inverse.

Comparer moyenne et médiane est donc le test de dissymétrie le moins cher qui existe : deux calculs, et la forme se devine. La série des incidents, avec mode 1, médiane 1 et moyenne 1,25, est légèrement étirée vers le haut.

Les trois cas, sur trois séries de dix valeurs. Dans chaque figure, le trait épais est la médiane et le losange la moyenne. Une seule chose est à regarder dans les trois : de quel côté du trait tombe le losange, et à quelle distance.

Premier cas, la série symétrique. Les valeurs se répartissent également de part et d'autre du centre.

Deuxième cas, la série étirée vers le haut. C'est celui des temps de réponse, des salaires, des durées d'attente : beaucoup de petites valeurs, quelques très grandes.

Troisième cas, la série étirée vers le bas. Plus rare en informatique, on la rencontre sur des rendements ou des taux de disponibilité, bornés par le haut, où quelques pannes isolées tirent vers le bas.

Quantiles

En pratique, sur une série ordonnée de $N$ valeurs, la règle tient en une phrase : couper la série en deux moitiés et prendre la médiane de chacune. $Q_1$ est la médiane de la moitié basse, $Q_3$ celle de la moitié haute. Quand $N$ est impair, la médiane de la série n'appartient à aucune des deux moitiés. C'est la règle qu'appliquent les boîtes à moustaches de ce site, et tous les exemples chiffrés du cours.

Sur les douze relevés $14, 15, 17, 18, 20, 23, 27, 29, 32, 37, 41, 64$ :

• la moitié basse est $14, 15, 17, 18, 20, 23$, de médiane $\dfrac{17 + 18}{2} = 17{,}5$ : c'est $Q_1$ ;
• la moitié haute est $27, 29, 32, 37, 41, 64$, de médiane $\dfrac{32 + 37}{2} = 34{,}5$ : c'est $Q_3$.

Indicateurs de dispersion

Ils répondent à « les données sont-elles serrées ou étalées ? ». Deux séries de même moyenne peuvent être radicalement différentes : une température de 20 °C en moyenne, entre 19 et 21, ou entre 5 et 35.

Étendue et écart interquartile

L'étendue est $\max - \min$. Simple, et entièrement déterminée par les deux valeurs les plus douteuses de la série.

L'écart interquartile $\mathrm{IQR} = Q_3 - Q_1$ mesure l'étalement des 50 % centraux. Il ignore les extrêmes par construction : c'est un indicateur robuste, et c'est celui qui sert à détecter les anomalies dans la supervision.

Variance et écart-type

En clair : on mesure l'écart de chaque valeur à la moyenne, on l'élève au carré pour que les écarts au-dessus et en dessous ne se compensent pas, et l'on fait la moyenne de ces carrés. Les carrés ont changé l'unité (des incidents au carré, des euros au carré) ; la racine la rétablit.

Les deux écritures sont la même, et passer de l'une à l'autre tient en trois lignes. Développer le carré donne $x_i^2 - 2x_i\bar{x} + \bar{x}^2$, puis on distribue la somme sur les trois termes :

• $\frac{1}{N}\sum n_ix_i^2$ est la moyenne des carrés ;
• $-2\bar{x} \times \frac{1}{N}\sum n_ix_i$ vaut $-2\bar{x} \times \bar{x} = -2\bar{x}^2$, puisque $\frac{1}{N}\sum n_ix_i$ est précisément la moyenne ;
• $\bar{x}^2 \times \frac{1}{N}\sum n_i$ vaut $\bar{x}^2$, puisque $\sum n_i = N$.

En additionnant : $-2\bar{x}^2 + \bar{x}^2 = -\bar{x}^2$, d'où la moyenne des carrés moins le carré de la moyenne.

Le coefficient de variation est sans unité, puisque l'écart-type et la moyenne portent la même unité et qu'elle se simplifie :

Il permet de comparer la dispersion de deux séries d'échelles différentes, par exemple une charge CPU en pourcentage et un trafic réseau en Mo/s. Il n'a de sens que si la moyenne est positive et loin de zéro.

Ce que les transformations font aux indicateurs. Si chaque valeur $x$ devient $ax + b$ :

Un décalage $b$ déplace le nuage sans l'étaler : la moyenne suit, la dispersion ne bouge pas. Un facteur $a$ étire tout, écarts compris. Ce sont les propriétés $E(aX + b) = aE(X) + b$ et $V(aX + b) = a^2V(X)$ des probabilités, vues depuis les données.

Un calcul complet, à la main

Les colis expédiés chaque jour par une plateforme logistique sur 12 jours, en centaines :

La série est déjà ordonnée, $N = 12$.

Dans la ligne de la variance, $11\,703$ est la somme des carrés des douze valeurs. Le carré de la moyenne se prend sur la fraction exacte $337/12$ : avec la valeur arrondie $28{,}08$, on trouverait $186{,}8$. Arrondir en cours de calcul, puis élever au carré, amplifie l'erreur.

Trois lectures immédiates, et elles valent plus que les nombres :

1. Moyenne (28,1) nettement supérieure à la médiane (25) : la série est étirée vers le haut. Une journée exceptionnelle tire la moyenne.
2. $CV = 13{,}66/28{,}08 \approx 0{,}49$ : l'écart typique vaut à peu près la moitié de la moyenne. C'est une série très dispersée, prévoir « 2 808 colis demain » serait absurde.
3. La valeur 64 dépasse $Q_3 + 1{,}5 \times \mathrm{IQR} = 34{,}5 + 25{,}5 = 60$ : c'est une valeur aberrante au sens de la boîte à moustaches. À enquêter, pas à supprimer.

La boîte à moustaches

En formule, une valeur est déclarée aberrante si elle sort de l'intervalle

Le coefficient 1,5 est une convention de Tukey, choisie pour que, sur une série en cloche, moins d'une valeur sur cent soit signalée. Il n'emploie ni la moyenne ni l'écart-type, que les valeurs aberrantes déforment justement : la règle ne se laisse pas influencer par ce qu'elle cherche.

Son intérêt n'est pas de résumer une série (un tableau le fait mieux) mais d'en comparer plusieurs d'un seul coup d'œil : quatre ateliers, sept jours de la semaine, trois serveurs.

Deux comparaisons se font d'un seul regard, et aucune ne demande un chiffre. La hauteur des boîtes d'abord : celle de la période de pointe est entièrement au-dessus de celle de la période creuse, et les moustaches ne se touchent même pas : le pire jour de pointe (26) dépasse le meilleur jour de période creuse (24). Leur longueur ensuite : la boîte des douze jours est la plus étirée des trois, et c'est la seule à porter une valeur aberrante. La raison tient en un mot : elle mélange des périodes qui ne se situent pas au même niveau. Une plateforme dimensionnée sur l'ensemble de l'année serait donc trop large en période creuse et trop juste en pointe.

Une valeur aberrante ne se supprime pas. Un point hors des moustaches signale une chose à comprendre : une erreur de mesure, un événement exceptionnel, ou le comportement réel du système dans un régime rare. Les trois se traitent différemment, et aucun ne se traite en effaçant la ligne. Écrire ce qu'on en fait, et pourquoi.

Ce que la boîte ne voit pas : le violon

Une boîte résume une série par cinq nombres, et cinq nombres ne disent pas tout. Deux services web ont été chronométrés sur quarante requêtes chacun. Le premier interroge sa base de données à chaque fois. Le second garde en cache les réponses fréquentes : une requête servie par le cache revient vite, une requête qui doit descendre jusqu'à la base revient lentement.

En vue boîte, rien ne sépare les deux services, sinon des moustaches un peu plus longues pour le premier. Le tableau le confirme : $Q_1 = 29$, $Me = 40$ et $Q_3 = 51$ des deux côtés, et la moyenne vaut 40 ms pour les deux.

En vue violon, ce ne sont plus les mêmes séries. Le service sans cache a une bosse, centrée sur 40 ms. Le service avec cache en a deux, autour de 29 et de 51 ms, séparées par un creux : aucune de ses quarante requêtes n'a duré entre 38 et 42 ms. Sa médiane, 40 ms, tombe exactement dans ce creux. C'est une durée qu'aucune requête n'a eue, comme la moyenne de 836 ms rencontrée plus haut.

Annoncer pour ce service « un temps de réponse typique de 40 ms » est donc faux deux fois : il y a deux temps typiques, et 40 ms n'est aucun des deux. La bonne analyse sépare les requêtes servies par le cache de celles servies par la base, et décrit chaque groupe à part. Deux bosses signalent presque toujours deux populations mélangées, et donc une variable qu'on n'a pas encore regardée.

D'où vient la courbe

Un histogramme compte les valeurs classe par classe, et son allure dépend de la largeur des classes et de l'endroit où elles commencent. Le violon remplace ce comptage par une estimation par noyaux : on pose sur chaque valeur une petite cloche d'aire $\dfrac{1}{N}$, puis on additionne toutes les cloches.

$K$ est la densité de la loi normale centrée réduite, celle du chapitre sur les lois de probabilité. Là où les valeurs sont serrées, les cloches s'empilent et la courbe monte ; là où il n'y en a pas, elle retombe. L'aire sous la courbe vaut 1, comme celle de toute densité.

Il n'y a qu'un réglage, mais il décide de tout : la largeur $h$ des cloches. Les bibliothèques la choisissent par défaut avec une règle de ce type, due à Silverman :

soit environ 6,6 ms pour le service sans cache et 5,0 ms pour l'autre. Le minimum sert la même cause que les quartiles de la boîte : une valeur extrême gonfle l'écart-type, pas l'écart interquartile, et elle ne doit pas lisser toute la courbe.

Un violon est une estimation, pas une mesure. La même série peut montrer une bosse ou deux selon la largeur choisie. La règle de Silverman est un point de départ raisonnable, pas une vérité. Une bosse qui disparaît dès qu'on touche au réglage ne prouve rien ; une bosse qui résiste quand la largeur double ou diminue de moitié est une propriété des données.

Quelle figure choisir

En Python, plt.boxplot et plt.violinplot tracent les deux sur les mêmes données ; le chapitre Matplotlib les compare.

Travailler sur des données tabulaires

En pratique, les données arrivent en table : une ligne par observation, une colonne par caractère. Le travail statistique sur une telle table tient en trois questions, et c'est l'ordre dans lequel les poser qui compte. L'outil, lui, s'apprend ailleurs : le chapitre pandas du parcours Python le couvre, et deux méthodes suffisent ici, describe() pour résumer et groupby() pour comparer. Les tableaux ci-dessous y sont d'ailleurs recalculés sur les mêmes données, ligne de code à l'appui.

Première question : à quoi ressemble chaque colonne ? Un résumé par colonne donne d'un coup l'effectif, la moyenne, l'écart-type, le minimum, les trois quartiles et le maximum. Sur un relevé de 240 journées d'une plateforme logistique :

Trois choses s'y lisent déjà. Les colis ont un écart-type qui vaut plus du tiers de leur moyenne, donc la série est dispersée. Leur médiane dépasse leur moyenne, donc la distribution est étirée vers le bas. Et le minimum à 80 est très loin du premier quartile, ce qui signale une poignée de journées hors norme à comprendre.

Deuxième question : les sous-populations se ressemblent-elles ? C'est la question qui décide d'à peu près toutes les actions. Regrouper par période commerciale, codée de 1 à 4 :

Les quatre périodes sont numérotées de la plus calme à la plus chargée, et la plateforme renforce ses équipes à mesure. La moyenne monte avec le nombre de préparateurs, ce qui n'étonne personne, mais l'écart-type descend : plus la période est chargée, plus l'activité est régulière. C'est une information de dimensionnement que la moyenne seule ne donne pas.

Puis selon que la journée compte ou non la réception d'un conteneur, qui mobilise une partie des préparateurs : 1 432 colis en moyenne un jour sans réception, contre 757 un jour de réception, soit un écart de 675 colis par jour. À comparer aux 739 colis qui séparent la période la plus calme de la plus chargée : la réception pèse presque autant que la période, alors que c'est la période à laquelle on pense en premier. Une plateforme dimensionnée sur la moyenne générale serait donc mal réglée la plupart du temps, et la moyenne générale est précisément le chiffre que l'on cite d'abord.

Troisième question : la forme confirme-t-elle les nombres ? Un résumé peut cacher deux bosses : ni la moyenne ni la boîte ne les distinguent, les deux services de la section précédente l'ont montré. Il faut donc regarder la distribution complète, par un histogramme ou un violon, puis les sous-populations côte à côte.

L'ordre des trois questions n'est pas interchangeable. Résumer avant de comparer, comparer avant de conclure, et regarder la forme avant de croire un résumé. Commencer par la conclusion, c'est-à-dire chercher dans les données ce qu'on espérait y trouver, est l'erreur qui produit les analyses les plus convaincantes et les plus fausses.

Moyenne et médiane, autant de fois qu'il faut

Le chapitre affirme que la médiane résiste aux valeurs aberrantes et que la moyenne non. L'exercice demande les deux indicateurs, puis les redemande sur la même série dont la plus grande valeur a été décuplée.

Comparer les deux couples de réponses. La médiane n'a pas bougé d'un point, parce qu'elle ne voit que l'ordre des valeurs et jamais leur amplitude. La moyenne s'est déplacée exactement de la valeur extrême, parce qu'un relevé sur neuf y pèse un neuvième d'une augmentation qui vaut neuf fois cette valeur.

La méthode

Devant une série de mesures, dans cet ordre et jamais l'inverse.

1. Regarder la forme avant de calculer quoi que ce soit : un histogramme, ou au minimum le minimum, le maximum et la médiane. Une moyenne calculée sur une série bimodale décrit un individu qui n'existe pas.
2. Choisir l'indicateur selon la forme. Série symétrique sans valeur extrême : moyenne et écart-type. Série dissymétrique ou avec des valeurs aberrantes : médiane et écart interquartile.
3. Comprendre les valeurs aberrantes avant de les retirer, et dire pourquoi on les retire. Une mesure fausse se retire ; une mesure rare se garde.
4. Vérifier l'ordre de grandeur : l'écart-type doit être petit devant l'étendue, et la médiane doit tomber entre le premier et le troisième quartile.

Le détail des calculs sur feuille

1. Ordonner la série avant tout calcul de médiane ou de quartile. C'est l'oubli le plus fréquent.
2. Vérifier que la somme des effectifs correspond bien à $N$, et que les fréquences totalisent 1.
3. Garder les fractions exactes jusqu'au bout, et n'arrondir qu'à la fin : surtout avant d'élever au carré.
4. Donner toujours moyenne et écart-type ensemble : l'un sans l'autre ne décrit rien.
5. Comparer moyenne et médiane : leur écart est déjà une conclusion sur la symétrie de la série.

Mettre en pratique

Deux nombres sur la série $2, 5, 7, 10, 11$, les deux qu'on donne toujours ensemble.