Atelier : les statistiques du site de commande, chez Da Lambda

La population est l'ensemble étudié, ici les requêtes reçues par le site. Chacun de ses éléments est un individu : une requête. Ce qu'on observe sur chaque individu est une variable : le temps de réponse.

Une variable est quantitative quand elle se mesure par un nombre qui a un sens (on peut le comparer, en faire une moyenne), et qualitative sinon.

• Quantitative continue : elle peut prendre n'importe quelle valeur d'un intervalle. Le temps de réponse, le montant d'une commande.
• Quantitative discrète : elle prend des valeurs isolées, souvent entières. Le nombre de pizzas d'une commande.
• Qualitative : une catégorie, même codée par un nombre. L'appareil employé, mobile ou ordinateur ; la page servie depuis le cache ou non.

La liste des valeurs observées est une série statistique, et leur nombre est l'effectif total, noté $N$. Ici, chaque soirée donne une série d'effectif $N = 10$.

La moyenne est la somme des valeurs divisée par leur nombre :

La médiane coupe la série rangée en deux moitiés de même effectif. Si $N$ est impair, c'est la valeur du milieu ; si $N$ est pair, la demi-somme des deux valeurs du milieu.

Le mode est la valeur la plus fréquente. Il est le seul des trois à avoir un sens pour une variable qualitative.

Exemple résolu, sur cinq valeurs : 12, 7, 9, 30, 7.

• Moyenne : $(12 + 7 + 9 + 30 + 7) / 5 = 65 / 5 = 13$.
• Médiane : rangée, la série devient 7, 7, 9, 12, 30 ; la valeur du milieu est 9.
• Mode : 7, la seule valeur qui apparaît deux fois.

La moyenne, 13, est tirée vers le haut par la seule valeur 30 ; la médiane, 9, ne dépend que du rang des valeurs et ne bouge pas, même si 30 devient 300.

L'étendue est l'écart entre la plus grande et la plus petite valeur. Simple, mais une seule valeur extrême suffit à la changer.

Les quartiles coupent la série rangée en quatre parts de même effectif. Ce site les calcule par la règle des deux moitiés : on coupe la série rangée en deux moitiés, la médiane n'entrant dans aucune quand $N$ est impair ; $Q_1$ est la médiane de la moitié basse, $Q_3$ celle de la moitié haute. Environ un quart des valeurs est sous $Q_1$, et un quart au-dessus de $Q_3$.

L'écart interquartile $Q_3 - Q_1$ est la largeur de la moitié centrale des valeurs. Une valeur est atypique quand elle s'écarte de cette zone de plus d'une fois et demie l'écart interquartile : au-delà de la barrière haute $Q_3 + 1{,}5\,(Q_3 - Q_1)$, ou en deçà de la barrière basse $Q_1 - 1{,}5\,(Q_3 - Q_1)$.

Exemple résolu, sur huit valeurs : 3, 1, 2, 8, 5, 4, 7, 6.

• Rangée : 1, 2, 3, 4 | 5, 6, 7, 8. La moitié basse est 1, 2, 3, 4, la haute 5, 6, 7, 8.
• $Q_1 = (2 + 3) / 2 = 2{,}5$ et $Q_3 = (6 + 7) / 2 = 6{,}5$ ; l'écart interquartile vaut 4.
• Barrières : $2{,}5 - 6 = -3{,}5$ et $6{,}5 + 6 = 12{,}5$. Aucune valeur n'est atypique.

Sur sept valeurs, 2, 4, 4, 5, 6, 7, 30, la médiane 5 n'entre dans aucune moitié : $Q_1$ est la médiane de 2, 4, 4, soit 4, et $Q_3$ celle de 6, 7, 30, soit 7. La barrière haute vaut $7 + 1{,}5 \times 3 = 11{,}5$ : 30 est atypique.

La boîte à moustaches dessine cinq nombres. La boîte va de $Q_1$ à $Q_3$ : elle contient la moitié centrale des valeurs. Le trait intérieur est la médiane. Les moustaches s'arrêtent aux dernières valeurs qui ne sont pas atypiques, et les valeurs atypiques sont des points isolés. Une boîte large dit une série dispersée ; une médiane décentrée dans sa boîte, une série dissymétrique.

L'écart à la moyenne d'une valeur est $x_i - \bar{x}$. La variance est la moyenne des carrés de ces écarts, et l'écart-type $\sigma$ (sigma) sa racine carrée, qui s'exprime dans la même unité que les valeurs :

Les carrés empêchent les écarts positifs et négatifs de se compenser ; la racine ramène à l'unité de départ. L'écart-type se lit comme un écart typique à la moyenne.

Une convention à connaître. On divise ici par $N$, pour décrire une série. Pour estimer la dispersion d'une population entière à partir d'un échantillon, on divise par $N - 1$, et la plupart des logiciels le font par défaut. L'important est de dire laquelle on emploie.

Le coefficient de variation rapporte l'écart-type à la moyenne :

Il n'a pas d'unité, et s'exprime souvent en pour-cent. Il compare la dispersion relative de séries d'échelles différentes : un CV de 10 % dit que l'écart typique vaut un dixième de la moyenne, quelle qu'elle soit. Il n'a de sens que pour des valeurs positives.

L'effectif d'une valeur, ou d'une classe de valeurs, est le nombre d'individus qui l'ont. Sa fréquence est son effectif divisé par l'effectif total : $f = n / N$, une proportion entre 0 et 1, souvent donnée en pour-cent. Les fréquences de toutes les valeurs ont pour somme 1.

La fréquence cumulée d'une valeur est la part des individus qui ont au plus cette valeur : on additionne les fréquences de toutes les valeurs qui la précèdent, elle comprise.

Quand la série est donnée par un tableau d'effectifs, la moyenne se calcule en pondérant chaque valeur par son effectif : $\bar{x} = \dfrac{\sum n_i\,x_i}{N}$.

Le centile d'ordre $p$ (ou quantile) est la valeur sous laquelle se trouve une proportion $p$ des individus. La médiane est le 50^e centile, $Q_1$ le 25^e, $Q_3$ le 75^e. Le 95^e centile laisse 95 % des valeurs sous lui, et 5 % au-dessus.

Centiles et fréquences cumulées se lisent dans les deux sens : dire que le 95^e centile vaut une seconde, c'est dire que la fréquence cumulée à une seconde vaut 95 %. Un engagement comme « 95 % des pages en moins d'une seconde » se vérifie donc de deux façons : le 95^e centile doit être sous 1 000 ms, ou, ce qui revient au même, la fréquence cumulée à 1 000 ms doit atteindre 95 %.

Un histogramme dessine le tableau des classes : chaque classe est un rectangle dont la hauteur est proportionnelle à l'effectif, quand les classes ont la même largeur. On y lit la forme de la distribution : où les valeurs se concentrent, si elle est symétrique ou étirée d'un côté, et combien elle a de bosses. Deux bosses séparées par un creux trahissent presque toujours deux populations mêlées.

Quand une population se partage en groupes, sa moyenne est la moyenne des moyennes des groupes, pondérée par leurs fréquences :

Elle tombe entre les moyennes des groupes, plus près de celle du groupe le plus nombreux, et peut ne décrire aucun individu réel.

La probabilité d'un événement est un nombre entre 0 et 1 qui mesure sa chance de se produire. Sur des données observées, on ne la connaît pas : on l'estime par la fréquence de l'événement. La part des pages servies par le cache ce samedi, 38,75 %, estime la probabilité qu'une page du samedi soir vienne du cache.

L'estimation est d'autant meilleure que les observations sont nombreuses : c'est la loi des grands nombres. Sur dix pages, la part du cache aurait pu valoir 20 % ou 60 % par simple hasard ; sur 160, elle bouge beaucoup moins d'une soirée à l'autre.

Beaucoup de grandeurs qui résultent de nombreux petits effets indépendants, un bruit de mesure, une taille, ont une distribution en cloche : symétrique autour de sa moyenne $\mu$, d'autant plus étalée que son écart-type $\sigma$ est grand. C'est la loi normale. Pour elle, et pour elle seulement :

• environ 68 % des valeurs sont entre $\mu - \sigma$ et $\mu + \sigma$ ;
• environ 95 % entre $\mu - 2\sigma$ et $\mu + 2\sigma$ ;
• environ 99,7 % entre $\mu - 3\sigma$ et $\mu + 3\sigma$.

Une série à deux variables associe deux valeurs à chaque individu, ici une charge et un temps. On la dessine en nuage de points. Le point moyen a pour coordonnées les deux moyennes, $(\bar{x}\,;\,\bar{y})$.

La covariance est la moyenne des produits des écarts aux moyennes :

Un point en haut à droite du point moyen a ses deux écarts positifs, un point en bas à gauche les deux négatifs : leur produit est positif. Une covariance positive dit que les deux variables montent ensemble, négative que l'une descend quand l'autre monte. Sa valeur dépend des unités, et ne se lit pas seule.

Le coefficient de corrélation de Pearson la normalise par les deux écarts-types :

$r$ proche de 1 : les points sont presque alignés sur une droite croissante ; proche de $-1$, sur une droite décroissante ; proche de 0, pas de lien linéaire, ce qui n'exclut pas un autre lien, en courbe par exemple.

Parmi toutes les droites $y = a\,x + b$, la droite des moindres carrés est celle qui rend la plus petite possible la somme des carrés des écarts verticaux entre les points et la droite. Sa pente et son ordonnée à l'origine se calculent directement :

La seconde formule dit que la droite passe par le point moyen. La pente $a$ s'exprime en unités de $y$ par unité de $x$ : ici, des millisecondes par commande.

Une prévision se fait en remplaçant $x$ dans l'équation. Dans le domaine des mesures, c'est une interpolation, fiable si les points sont bien alignés ; au-delà, une extrapolation, qui suppose que la relation reste la même hors de ce qu'on a observé, ce que rien ne garantit.

La part de la dispersion des $y$ que la droite explique est le coefficient de détermination, $R^2$. Pour une droite, il vaut le carré du coefficient de corrélation : $R^2 = r^2$, entre 0 et 1.

Une corrélation mesure une association : deux variables varient ensemble. Elle ne dit pas que l'une agit sur l'autre. Trois situations produisent la même corrélation :

• $x$ agit sur $y$ ;
• $y$ agit sur $x$ : la corrélation est symétrique, elle ne dit pas le sens ;
• une troisième variable, un facteur de confusion, agit sur les deux, sans lien direct entre elles.

Pour établir une cause, on cherche le mécanisme, on compare des situations où le facteur de confusion est le même, et, quand c'est possible, on expérimente : on fait varier une seule grandeur, et l'on mesure.