Superviser un système : lois continues et détection d'anomalies

Ce que mesure la supervision

Superviser, c'est observer un système en fonctionnement pour décider s'il faut intervenir. Encore faut-il savoir ce que les chiffres décrivent.

Processus et ordonnancement

Un processus est un programme en cours d'exécution ; l'ordonnanceur du système d'exploitation répartit le temps de processeur entre les processus prêts, par tranches de quelques millisecondes. Le chapitre Processus et ordonnancement en donne le fonctionnement ; il suffit ici de savoir ce que les métriques en disent.

Trente relevés de charge, une mesure par minute, sur un serveur dont la charge moyenne vaut environ 50 % : l'histogramme dit ce que la moyenne tait. Deux bosses, l'une près de zéro et l'autre près de cent, signalent un système qui alterne l'inactivité et la saturation, et non un système à mi-charge.

Mémoire

Quand la mémoire vive (RAM) manque, le système écrit sur disque, dans le swap, des pages de mémoire peu utilisées récemment ; le chapitre Mémoire virtuelle et pagination en détaille le mécanisme. Un accès disque étant de plusieurs centaines de fois (SSD) à cent mille fois (disque mécanique) plus lent qu'un accès RAM, un système qui swappe activement s'effondre en performance.

Une série temporelle

Chaque métrique relevée à intervalle régulier forme une série temporelle. Elle se distingue d'une série statistique ordinaire sur deux points : les observations sont ordonnées, et elles ne sont pas indépendantes, la charge de cette minute ressemble à celle de la précédente.

La conséquence, immédiate. Tous les indicateurs de Statistique descriptive restent calculables, mais ils ignorent le temps. Une moyenne journalière écrase la différence entre le jour et la nuit ; un histogramme de la charge sur 24 heures mélange deux régimes distincts. Il faut donc tracer la série dans le temps avant de la résumer : c'est le même réflexe que le nuage de points, avec le temps en abscisse.

Variables aléatoires continues

Une température, une durée, un débit peuvent prendre n'importe quelle valeur d'un intervalle. On ne peut plus lister les $P(X = x)$ comme pour une loi discrète du chapitre sur les probabilités : elles valent toutes zéro. Le chapitre sur le risque a fait ce passage avec la loi normale ; l'essentiel en est rappelé ici, parce que tout le réglage des seuils en dépend.

C'est le geste de Statistique descriptive sur les fréquences cumulées, entrer par l'ordonnée et redescendre sur l'abscisse : $F$ est la version théorique de la fréquence cumulée d'une série, et c'est justement la fréquence cumulée des données que le test de Kolmogorov-Smirnov, plus bas, compare à $F$.

Deux lois pour les mesures : normale et log-normale

Une mesure relevée en continu, une charge, une température, un temps de réponse, suit le plus souvent l'une de ces deux lois. La première porte la règle des trois sigmas ; la seconde est celle où cette règle trompe.

Loi normale $\mathcal{N}(\mu , \sigma ^2)$

La courbe en cloche, symétrique autour de $\mu$. Elle apparaît dès qu'une grandeur est la somme de nombreux petits effets indépendants, c'est le théorème central limite. Un bruit de mesure, les écarts d'une température de salle machine autour de son cycle jour/nuit : normal.

La règle des trois sigmas.

• 68 % des valeurs tombent dans $[\mu - \sigma ; \mu + \sigma]$ ;
• 95 % dans $[\mu - 2\sigma ; \mu + 2\sigma]$ ;
• 99,7 % dans $[\mu - 3\sigma ; \mu + 3\sigma]$.

C'est de là que sortent tous les seuils « à 3 sigmas » de la supervision, et c'est valable uniquement si la série est normale.

Ce qu'il faut regarder n'est pas le sommet, c'est la vitesse à laquelle la courbe retombe de part et d'autre. Au bord de la zone teintée, elle est déjà très basse ; un peu plus loin, elle est collée à l'axe. C'est cette chute rapide qui donne son sens à un seuil : au-delà, il ne reste presque rien à laisser passer.

Loi log-normale

$X$ est log-normale si $\ln(X)$ est normale. Densité asymétrique, étalée à droite, définie sur les valeurs positives. Elle apparaît quand une grandeur est le produit de nombreux facteurs : temps de réponse, taille de fichiers, durée d'une requête qui traverse plusieurs couches. La raison tient en une propriété du logarithme vue dans Étude de fonction, $\ln(ab) = \ln a + \ln b$ : le logarithme d'un produit de nombreux facteurs est une somme de nombreux termes, donc une cloche, pour la même raison que la loi normale plus haut.

Sur la figure plus bas, $\mu = 3{,}6$ et $\sigma = 0{,}75$ donnent une médiane de 36,6 ms, une moyenne de 48 ms et un 95ᵉ centile de 126 ms. Pour ne pas confondre les deux échelles, la moyenne et l'écart-type des millisecondes s'écrivent ci-dessous $m$ et $s$.

Les deux formes, l'une sous l'autre. Sur la première, regarder la symétrie : le côté gauche est l'image exacte du côté droit. C'est pour cela que mode, médiane et moyenne y tombent au même point. La règle des trois sigmas, elle, ne vient pas de la symétrie mais de la forme précise de la cloche : une loi symétrique comme la loi uniforme ne laisse rien au-delà de deux écarts-types.

La seconde est la loi des temps de réponse, des tailles de fichiers, des durées de traitement. Elle est nulle en dessous de zéro, ce qu'une durée exige, et sa queue s'étire vers la droite sans fin. Deux choses à y regarder : l'écart entre les trois repères, qui mesure l'asymétrie, et le fait que la courbe reste nettement au-dessus de l'axe loin à droite, là où une cloche s'y colle. Sur cette loi, une valeur supérieure au triple de la médiane se produit encore 7 % du temps, soit une minute sur quatorze. C'est ce que veut dire « queue épaisse », et c'est ce qui va mettre en défaut le seuil à trois sigmas.

Vérifier la loi d'une série

Supposer une loi sans la vérifier est la fausse piste la plus coûteuse : tout ce qui suit en dépend. La vérification se fait en trois temps, du moins au plus formel.

L'histogramme avec la densité théorique superposée : c'est grossier mais cela élimine les erreurs grossières, qui sont les plus fréquentes. Sans rien tracer, un premier contrôle compte la part des mesures à moins d'un, deux et trois écarts-types de la moyenne, à comparer aux 68, 95 et 99,7 % de la cloche.

Le diagramme quantile-quantile (QQ-plot) : on trace les quantiles observés contre les quantiles théoriques. Si la loi est la bonne, les points s'alignent sur une droite. Quand les quantiles théoriques sont ceux de la loi normale centrée réduite, comme dans le code plus bas, cette droite a une pente proche de $\sigma$ et une ordonnée à l'origine proche de $\mu$ : c'est le trait rouge que trace Python, une droite ajustée sur les points comme la droite des moindres carrés du chapitre précédent. Selon une convention courante, le $i$-ème point a pour abscisse le quantile de la cloche d'ordre $(i - 0{,}5)/n$ et pour ordonnée la $i$-ème plus petite valeur observée : sur cinq valeurs, les abscisses sont $-1{,}28$, $-0{,}52$, $0$, $0{,}52$ et $1{,}28$. Les écarts aux extrémités se lisent immédiatement, et ce sont justement les extrémités qui décident des seuils d'alerte.

Le test de Kolmogorov-Smirnov : il mesure l'écart maximal entre la fonction de répartition empirique et la théorique, et en tire une $p$-valeur. Une $p$-valeur inférieure à 0,05 conduit à rejeter l'hypothèse que la série suit la loi testée.

Le code ci-dessous fabrique une journée de supervision (1 440 mesures à la minute) et confronte deux métriques à la loi normale.

Les deux séries brutes sont rejetées, mais pas pour la même raison. L'asymétrie (skewness) le montre : franchement positive pour la latence, dont la queue s'étire à droite ; nulle pour la consommation, qui est pourtant rejetée elle aussi. Ce qui l'éloigne de la cloche, c'est le cycle jour/nuit. Cette oscillation de 0,6 kW est bien plus forte que le bruit de mesure. Elle étale les valeurs entre le creux et le sommet, et une sinusoïde passe plus de temps près de ses extrêmes qu'au milieu. La série mélange donc les heures chargées et les heures creuses, c'est-à-dire deux régimes. Une fois le cycle retiré, le résidu passe le test sans difficulté, comme le logarithme de la latence. Le code estime $\mu$ et $\sigma$ sur les données mêmes, ce que l'encadré précédent signalait : les rejets n'en sont que plus nets, puisque ce biais pousse à accepter ; les « compatible » se lisent avec cette réserve. Voici les séries brutes en images.

Le QQ-plot de la latence s'écarte nettement de la droite dans le haut : les grandes valeurs observées dépassent de loin celles que prévoit la loi normale, et c'est exactement la zone qui décide des alertes. Celui de la consommation s'en écarte de l'autre manière, aux deux bouts, en forme de S : ses extrêmes restent en deçà de ceux d'une cloche, parce que le cycle borne la série.

Détecter une anomalie

Une anomalie est une observation qui s'écarte assez du comportement habituel pour mériter un regard. Ce chapitre s'en tient à des méthodes fondées sur des statistiques classiques (pas d'apprentissage automatique), et c'est amplement suffisant.

Le z-score

Ce seuil de 3 n'est pas une constante : il se justifie par la part de mesures ordinaires qu'il laisse passer.

Ce qu'il faut regarder ici, ce n'est pas la cloche, ce sont les deux minces bandes qu'elle laisse en dehors de la zone teintée. La série est normale et rien ne s'y passe : ces bandes ne contiennent donc que des mesures ordinaires, et toute alerte qu'elles déclenchent est fausse. Déplacer le seuil, c'est déplacer la frontière de cette zone, donc changer l'épaisseur des bandes.

L'écart interquartile

On signale les valeurs hors de $[Q_1 - 1{,}5\,\mathrm{IQR} ; Q_3 + 1{,}5\,\mathrm{IQR}]$, la règle de la boîte à moustaches posée dans Statistique descriptive. Quartiles et IQR sont robustes, mais jusqu'à un certain point. Tant que moins d'un quart des valeurs sont anormales, $Q_3$ reste parmi les valeurs ordinaires et les extrêmes ne le déplacent pas. Au-delà, il cède : sur douze relevés de charge $40, 41, 42, 40, 43, 41, 95, 97, 42, 40, 99, 41$, la moitié haute est $42, 42, 43, 95, 97, 99$, donc $Q_3 = (43 + 95)/2 = 69$, $\mathrm{IQR} = 28{,}5$, et la limite haute monte à 111,75 : aucun des trois pics n'est signalé. La médiane, elle, tient jusqu'à la moitié de valeurs anormales.

La méthode s'applique sans connaître la loi, mais son taux de fausses alertes en dépend : 0,7 % des valeurs ordinaires sur une cloche, beaucoup plus sur une série étirée à droite. Sur un temps de réponse, on l'applique donc au logarithme.

Le z-score robuste

On remplace moyenne et écart-type par leurs équivalents robustes. La médiane $Me$ remplace la moyenne. L'écart absolu médian remplace l'écart-type : c'est la médiane des distances à la médiane,

$\mathrm{MAD} = \text{médiane}\left(|x_i - Me|\right)$

et le score devient

$z_{\text{rob}} = 0{,}6745 \times \frac{x - Me}{\mathrm{MAD}}$

En clair, c'est le même geste que le z-score, avec deux remplacements. L'écart au centre se compte à partir de la médiane et non de la moyenne. La dispersion ordinaire se lit sur le MAD, c'est-à-dire l'écart typique des autres points à cette médiane. Le facteur $0{,}6745$ ramène l'échelle du MAD à celle d'un écart-type sur une loi normale, de sorte que le seuil de 3 garde le même sens qu'avec le z-score classique. Il vient de la cloche elle-même : son troisième quartile se trouve à $0{,}6745\,\sigma$ au-dessus de la moyenne, puisque $P(Z \leq 0{,}6745) = 0{,}75$, si bien que le MAD d'une cloche vaut $0{,}6745\,\sigma$ et son écart interquartile le double, $1{,}35\,\sigma$. La limite $Q_3 + 1{,}5\,\mathrm{IQR}$ tombe donc à $0{,}67 + 2{,}02 \approx 2{,}7\,\sigma$ : c'est de là que viennent les 0,7 % de la règle de Tukey.

Tout l'intérêt tient au dénominateur : une valeur extrême peut multiplier l'écart-type, elle ne déplace pas une médiane, qui ne dépend que d'un rang. Le seuil ne se laisse donc pas fabriquer par ce qu'il doit détecter, tant que les valeurs anormales restent minoritaires : sur les douze relevés ci-dessus, la médiane vaut 41,5 et le MAD 1,5, et le z robuste signale les trois pics, au-delà de 24. Une limite, en revanche : le MAD vaut zéro dès que plus de la moitié des relevés sont égaux, ce qui arrive sur un compteur d'erreurs nul la plupart du temps, et le score devient infini à la moindre erreur. Sur ce genre de métrique, la loi de Poisson du chapitre sur le risque convient mieux.

Le pourcentage du maximum

« Alerte au-delà de 90 % du maximum observé » : simple, immédiat, et sans aucune propriété. Le maximum est la statistique la moins robuste qui soit, il est déterminé par une seule valeur, souvent celle dont on doute le plus. À citer, à ne pas utiliser seul.

Les trois méthodes sur une même série

Le code suivant applique le z-score, l'écart interquartile et le z robuste à cinq cents relevés de charge, dont trois incidents, et affiche les seuils qu'ils posent.

Ce que la comparaison montre. Les trois incidents sont réels et massifs, et les trois méthodes les trouvent tous ; pourtant les seuils diffèrent de six points de charge, pour deux raisons distinctes. Le z-score classique place sa limite le plus haut, vers 69 %, parce que les incidents ont eux-mêmes gonflé l'écart-type, de 9,0 à 10,1 : sans eux, il la poserait vers 65,5 %. Le z robuste, qui les ignore, tombe à 66 %, presque au même endroit. L'écart interquartile descend à 63 % pour une autre raison, qui ne doit rien aux incidents : sur une cloche, sa limite $Q_3 + 1{,}5\,\mathrm{IQR}$ se trouve à 2,7 écarts-types de la moyenne, et non à 3. Les deux méthodes robustes paient leurs limites plus serrées de quelques signalements sur des mesures ordinaires : quatre pour l'écart interquartile, deux au-dessus de 63 % et deux sous sa limite basse, vers 15 % ; deux pour le z robuste, un de chaque côté, au-dessus de 66 % et sous 11 %.

Il n'y a pas de méthode gagnante dans l'absolu : il y a un arbitrage entre incidents manqués et fausses alertes, et c'est à l'exploitant de le trancher. Sur cinq cents points, trois incidents déplacent le seuil du z-score de trois points et demi sans masquer aucun d'eux ; sur une série courte, ou avec des incidents plus nombreux, le masquage vu plus haut ferait basculer la comparaison.

Régler un seuil d'alerte

Trois méthodes, trois seuils différents sur la même série. Reste à décider lequel poser, et ce choix-là n'est plus statistique.

Un seuil produit deux types d'erreurs : les faux négatifs (incidents manqués) et les faux positifs (fausses alertes). En ne touchant qu'au seuil, impossible de les baisser tous les deux : le durcir réduit les fausses alertes et augmente les incidents manqués. Les leviers présentés plus bas y parviennent, pour les incidents qui durent ou qui touchent plusieurs métriques, parce qu'ils changent autre chose que le seuil.

Une précaution vient avant tout réglage : le seuil se calcule sur un historique sain. Un seuil recalculé chaque matin sur la veille absorbe la panne de la veille : moyenne et écart-type gonflés, il laissera passer la même panne le lendemain. En exploitation, cela revient à exclure les périodes d'incident connues, ou à juger chaque relevé contre une référence qui ne le contient pas. Les codes de ce chapitre calculent leurs seuils sur des séries qui contiennent les incidents, pour montrer ce qu'ils en subissent ; la figure suivante, elle, calcule le sien sur la journée avant l'injection des anomalies.

Elle rend l'arbitrage manipulable. Quatre anomalies ont été injectées dans une série par ailleurs normale, chacune sur une seule minute ; déplacer le seuil fait bouger les deux comptes, et jamais dans le même sens.

Parcourir les neuf réglages fait apparaître ce qu'aucune formule ne dit : il n'existe pas de seuil sans perte.

À 2σ, la métrique se déclenche 61 fois dans la journée sans que rien ne se passe. À 3σ, elle ne se trompe plus que 7 fois, et attrape encore les quatre anomalies. À 3,5σ, elle ne se trompe presque plus, et laisse passer le pic modéré à 76 %, cerclé en pointillés sur le dessin. Les trois pics francs, eux, restent détectés jusqu'à 5σ : ce ne sont pas eux qui décident du réglage.

C'est toujours l'anomalie la plus discrète qui fixe le seuil, et c'est pourquoi on ne le règle pas sans savoir ce qu'on cherche à détecter.

La cadence est le seul nombre qui se présente. « 3 sigmas » ne veut rien dire pour une équipe d'exploitation. « Environ quatre réveils par jour et par métrique » veut dire quelque chose, et se discute. Le sigma est un moyen de calcul ; la cadence de fausses alertes est la grandeur qu'on négocie.

Une fois la cadence négociée, le seuil s'en déduit en renversant le calcul. Une fausse alerte par jour, sur un relevé à la minute et d'un seul côté, autorise une mesure sur 1 440 au-dessus du seuil, soit 0,069 %. Sur une série normale, c'est le quantile d'ordre $1 - 1/1440$ de la cloche, vers $\mu + 3{,}2\sigma$. Sur une série qui ne l'est pas, même après passage au logarithme, la même phrase donne une méthode qui ne suppose aucune loi : prendre pour seuil le centile d'ordre 99,93 % d'un historique sain. Ce centile ne repose que sur les quelques valeurs les plus hautes, et il faut des semaines de relevés pour l'estimer : sur une seule journée, il serait fixé par une ou deux mesures.

Les leviers, dans l'ordre où on les emploie :

1. Exiger une persistance : alerter seulement si le seuil est dépassé pendant $k$ minutes consécutives. Un pic isolé disparaît, une surcharge qui dure passe. Le prix est double : l'alerte part $k$ minutes plus tard, et un incident plus bref que $k$ minutes n'est plus signalé. Les relevés d'une série temporelle n'étant pas indépendants, les dépassements ordinaires arrivent parfois en grappes de quelques minutes, que la persistance laisse passer plus souvent qu'avec des mesures indépendantes ; elle reste pourtant, tant que les incidents qui comptent durent, le levier le plus efficace et le moins coûteux.
2. Croiser plusieurs métriques : alerter sur la charge et la latence simultanément. Si les fausses alertes des deux signaux étaient indépendantes, la probabilité qu'elles coïncident serait le produit des deux, bien plus petite. Or une charge élevée allonge justement la latence : le gain réel est moindre que ce produit, et un incident qui ne touche qu'une des deux métriques n'est plus signalé.
3. Séparer les régimes : un seuil pour le jour, un pour la nuit, comme le code suivant le montre.
4. Regrouper les alertes d'une même cause : des dépassements consécutifs, ou dix serveurs touchés par la même panne de réseau, ne donnent qu'une notification.
5. Choisir le seuil selon le coût : manquer une surchauffe peut coûter un arrêt brutal du serveur, voire un composant ; manquer un pic de trafic coûte quelques secondes de lenteur. Les deux ne méritent pas le même réglage. Ce levier-là ne baisse pas les deux erreurs à la fois : il choisit où se placer dans l'arbitrage.

Le seuil calculé sur 24 heures rate un tiers de l'incident. La journée mélange deux régimes, une nuit à 30 % et un plateau diurne à 58 %. Ce mélange gonfle l'écart interquartile, donc pousse le seuil à 86,5 % : seules les dix minutes les plus violentes de l'incident sont vues. Le même calcul mené sur les seules heures ouvrées descend le seuil à 75 % et détecte les quinze minutes.

Même série, même méthode, même règle. Ce qui change, c'est qu'on a d'abord séparé les régimes. Séparer jusqu'au bout demande un second seuil pour la nuit, calculé de la même façon sur les heures avant 6 h et après 21 h : le code le trouve vers 46 %, et une surcharge nocturne à 70 %, invisible sous le seuil du jour, y serait signalée. C'est le conseil qui paraissait théorique au début du chapitre : l'ignorer coûte ici cinq minutes d'incident non vues.

Les deux dernières lignes affichées montrent le prix de la persistance plutôt que son gain. Sur cette journée, aucune minute ordinaire ne franchit le seuil des heures ouvrées : les 15 minutes au-dessus sont exactement celles de l'incident, et il n'y avait rien à filtrer. La règle des cinq minutes n'en garde que 11, parce que l'alerte ne part qu'à la cinquième minute de dépassement, à 10 h 14. Son gain apparaît sur une série plus bruitée, où des minutes isolées franchissent le seuil sans incident derrière.

Le temps entre deux alertes, et l'âge d'un composant

Un seuil à trois sigmas promet 3,9 fausses alertes par jour. L'ingénieur d'astreinte pose une autre question : quelle chance a-t-il d'une nuit de huit heures sans réveil ? Si les fausses alertes arrivent indépendamment les unes des autres, leur nombre sur une durée suit la loi de Poisson du chapitre sur le risque, et l'attente entre deux alertes suit la loi exponentielle de même taux. Une nuit calme, c'est une attente du premier réveil plus longue que huit heures : $P(X > 8\ \text{h}) = e^{-3{,}9 \times 8/24} = e^{-1{,}3} \approx 0{,}27$, un peu plus d'une nuit sur quatre. Les pannes de matériel posent la même question, avec une différence : le taux dépend-il de l'âge ?

Loi exponentielle de paramètre $\lambda$

Densité $f(x) = \lambda e^{-\lambda x}$ sur les réels positifs, d'espérance $1/\lambda$. C'est la loi des durées entre deux événements quand ces événements arrivent au hasard à taux constant : la loi de Poisson compte ces événements, l'exponentielle mesure l'attente entre eux. Elle est la version continue de la loi géométrique, comme l'a noté le chapitre sur le risque.

Le chapitre sur le risque a établi le lien : n'avoir aucun incident sur une durée $t$, de probabilité $e^{-\lambda t}$ sous la loi de Poisson, revient à attendre le prochain plus longtemps que $t$. Donc $P(X > t) = e^{-\lambda t}$, et la fonction de répartition vaut $F(t) = 1 - e^{-\lambda t}$.

Compter les événements et mesurer l'attente entre eux sont donc deux lectures du même phénomène : $\lambda$ y désigne le même taux, une fois par unité de temps, une fois comme inverse d'une durée moyenne.

Sa propriété caractéristique est l'absence de mémoire :

$P(X > s + t \mid X > s) = P(X > t)$

En clair, le membre de gauche se lit « sachant que le composant a déjà tenu la durée $s$, probabilité qu'il tienne encore la durée $t$ ». Le membre de droite est la même probabilité pour un composant neuf. L'égalité dit donc que le passé ne compte pas : un composant qui a déjà tenu mille heures tombera en panne dans l'heure suivante avec la probabilité d'un composant sorti d'usine. C'est un modèle de panne accidentelle, pas d'usure.

L'égalité se démontre en une ligne avec la probabilité conditionnelle de Probabilités : tenir $s + t$ suppose d'avoir tenu $s$, donc

$P(X > s + t \mid X > s) = \frac{P(X > s + t)}{P(X > s)} = \frac{e^{-\lambda(s+t)}}{e^{-\lambda s}} = e^{-\lambda t}$

Les deux courbes partent de leur maximum et décroissent sans jamais remonter : à largeur égale, un intervalle d'attente proche de zéro est toujours plus probable qu'un intervalle plus lointain. Avec $\lambda = 2$, l'attente tombe sous dix minutes dans 28 % des cas, et entre une heure et une heure dix dans moins de 4 %. C'est contre-intuitif, et c'est ce qui rend les incidents rapprochés si fréquents sous une loi exponentielle, sans qu'aucune cause commune ne les relie.

Les quantiles se lisent en résolvant $1 - e^{-\lambda t} = q$, soit $t = -\ln(1 - q)/\lambda$. La médiane vaut donc $\ln 2/\lambda \approx 0{,}69/\lambda$ : la moitié des attentes sont plus courtes que les sept dixièmes de l'attente moyenne.

Le taux de panne

L'absence de mémoire se reformule en une grandeur que la fiabilité emploie partout. Le taux de panne à l'instant $t$ est la probabilité, rapportée à la durée, de tomber en panne juste après $t$ sachant qu'on a tenu jusque-là :

D'où vient ce quotient : la probabilité de lâcher entre $t$ et $t + \Delta t$ est l'aire d'une bande étroite sous la densité, à peu près $f(t)\,\Delta t$. La diviser par $P(X > t)$, c'est la rapporter aux seuls composants encore en service ; la diviser par $\Delta t$, c'est la rapporter à la durée. Il reste $f(t)/P(X > t)$.

En clair : parmi les composants encore en service à l'instant $t$, quelle proportion lâche dans l'instant qui suit, rapportée à la durée de cet instant. C'est un taux et non une probabilité : comme une densité, il peut dépasser 1, et la figure de Weibull plus bas le montre monter jusqu'à 4. Pour l'exponentielle, $f(t) = \lambda e^{-\lambda t}$ et $P(X > t) = e^{-\lambda t}$, donc

Le taux est constant. Et c'est exactement l'absence de mémoire, dite autrement : si la proportion de composants qui lâchent ne dépend pas de leur âge, alors l'âge ne sert à rien pour prédire la panne. Les deux énoncés sont une seule et même propriété.

Loi de Weibull

Elle généralise l'exponentielle en ajoutant un paramètre de forme $k$, ce qui lui permet de représenter l'usure. Avec un paramètre d'échelle $\eta$, qui fixe la durée caractéristique :

Le taux de panne s'en déduit par le même quotient que pour la loi exponentielle, et le facteur $e^{-(t/\eta)^k}$, présent en haut et en bas, se simplifie :

Tout se lit sur l'exposant $k - 1$ :

• $k < 1$ : l'exposant est négatif, le taux décroît avec l'âge. Mortalité infantile : les défauts de fabrication se révèlent tôt, et un composant qui a passé les premières heures est plus sûr qu'un neuf.
• $k = 1$ : l'exposant est nul, le taux est constant. C'est exactement l'exponentielle, qui est donc un cas particulier de Weibull.
• $k > 1$ : l'exposant est positif, le taux croît. Usure : la panne devient plus probable avec l'âge.

Le quotient de la probabilité conditionnelle chiffre la décision. Avec $k = 3$ et $\eta = 5$ ans, un disque neuf tient sa première année avec la probabilité $e^{-(1/5)^3} \approx 0{,}992$. Un disque de quatre ans tient l'année suivante avec $P(X > 5)/P(X > 4) = e^{-1 + 0{,}512} \approx 0{,}61$ : près de quatre chances sur dix de le perdre dans l'année, contre moins d'une sur cent pour un neuf.

Ces trois régimes ne sont pas trois matériels différents : ce sont les trois âges d'un même parc. Au démarrage, les défauts de fabrication font tomber les composants fragiles ; vient ensuite une longue période de pannes accidentelles à taux à peu près constant ; puis l'usure prend le dessus. Mis bout à bout, ces trois morceaux dessinent la courbe en baignoire, et elle dicte deux pratiques de l'exploitation : faire tourner un matériel neuf quelque temps avant de le mettre en production, et le remplacer avant la fin de vie plutôt qu'à la panne.

C'est la loi de référence en fiabilité, et l'une des plus employées pour modéliser la durée de vie des disques durs ; les relevés de parcs réels s'en écartent pourtant, avec un taux de panne qui croît dès les premières années.

La méthode

1. Tracer la série dans le temps avant tout. Les régimes jour/nuit et les incidents s'y voient à l'œil nu.
2. Séparer les régimes s'il y en a plusieurs. Un indicateur global sur deux populations mélangées ne décrit ni l'une ni l'autre.
3. Identifier la loi : histogramme, puis QQ-plot, puis test, dans cet ordre, du plus parlant au plus formel.
4. Choisir l'échelle : un raisonnement en sigmas ne vaut que sur une série vérifiée normale. Sur une grandeur positive et étirée, travailler sur le logarithme ; si aucune échelle ne donne une cloche, poser le seuil sur un centile d'un historique sain.
5. Calculer le seuil sur un historique sain, sans les incidents qu'il doit détecter, ou par une méthode robuste tant que les anomalies restent rares ; comparer au moins deux méthodes sur les mêmes données.
6. Chiffrer la cadence attendue de fausses alertes, par jour, par métrique, d'un seul côté ou des deux, puis la multiplier par le nombre de métriques et de serveurs : c'est ce total qui rend un seuil acceptable ou non. Dans l'autre sens, partir de la cadence acceptée pour en déduire le seuil.
7. Exiger une persistance, ou croiser deux métriques, avant de durcir un seuil, au prix de quelques minutes de retard et des incidents trop brefs pour la franchir ; regrouper en une seule notification les dépassements consécutifs et les alertes d'une même cause.
8. Conclure par une recommandation actionnable : quel seuil, sur quelle métrique, avec quelle durée, et pourquoi.

Mettre en pratique

Un seuil d'alerte se choisit en connaissant d'avance le nombre de fausses alertes qu'il produit. Ce nombre se calcule, et il décide de la crédibilité de toute la supervision.

Les réponses disent tout le métier. Un seuil à deux sigmas produit près de quatre cent soixante alertes par semaine sur une seule métrique, soit une toutes les vingt-deux minutes, dix-sept fois plus qu'à trois sigmas, et une équipe noyée sous ces alertes finit par les ignorer toutes, y compris les vraies. Un seuil à trois sigmas en produit vingt-sept des deux côtés, la moitié s'il ne surveille que le haut, ce qui reste beaucoup dès qu'on supervise cinquante métriques. Et la dernière réponse renverse le calcul : une alerte par semaine n'autorise que 0,0099 % des mesures au-delà du seuil, quand trois sigmas en laissent 0,135 % d'un côté et quatre sigmas 0,0032 %. Le seuil cherché tombe entre les deux, vers 3,7 σ.

Ce que le calcul impose à la conception. Le nombre de fausses alertes croît avec le nombre de métriques supervisées, et personne ne supervise une seule métrique. Cinquante métriques à trois sigmas produisent plus de mille trois cents alertes par semaine, ce qui est ingérable.
Les remèdes ne sont donc pas dans le seuil mais autour : exiger que la valeur reste anormale pendant plusieurs relevés consécutifs, regrouper les alertes d'une même cause, et réserver la notification immédiate à ce qui exige une action immédiate. Un seuil bien réglé sur une métrique isolée ne dit rien de ce que produira le parc entier.