L'analyse exploratoire des données

Le premier regard

Quatre commandes, dans cet ordre.

Les dimensions. Combien de lignes, combien de colonnes. Un chiffre inattendu est déjà une information.
Les types. Ce que la bibliothèque a deviné pour chaque colonne. Une colonne numérique lue comme du texte signale presque toujours une valeur parasite.
Les statistiques. Minimum, maximum, quartiles, moyenne. C'est là qu'un minimum à zéro ou un maximum suspicieusement rond se remarquent.
Quelques lignes. Les regarder vraiment, en entier. Un tableau se comprend mieux sur dix lignes lues que sur mille agrégées.

Vingt lignes des relevés, telles qu'elles arrivent au service de la coopérative. Cliquer sur un en-tête pour trier : c'est ce geste, et pas une moyenne, qui fait remonter les défauts les uns à côté des autres.

Le jeu de données ci-dessous accompagne ce chapitre et le suivant : les relevés de la coopérative, une ligne par parcelle et par récolte, et la rouille, une maladie du blé, notée 1 quand elle a touché la parcelle. Il est fabriqué, mais ses défauts sont ceux qu'on rencontre.

Les distributions

Ce qu'un histogramme dit et qu'une moyenne cache. La forme : symétrique, asymétrique, à plusieurs bosses. Deux bosses signalent presque toujours deux populations mélangées, donc une variable de regroupement qu'on n'a pas encore identifiée.
Les accumulations anormales : un pic isolé sur une valeur ronde, une barre à zéro. Ce sont les sentinelles et les troncatures.
L'étendue réelle des valeurs, et si elle est physiquement plausible.
Deux jeux de données peuvent avoir la même moyenne et le même écart-type sans se ressembler du tout, ce que le quatuor d'Anscombe montre dans le chapitre sur la corrélation et les moindres carrés. La statistique résume, l'histogramme montre.

Une variable ne se juge jamais seule : ce qui compte est de savoir si elle sépare deux populations. La figure ci-dessous superpose les rendements des parcelles de calcaire à ceux des parcelles de limon, bennes à zéro écartées, et laisse déplacer un seuil.

Le recouvrement borne tout ce qui suivra. Le meilleur seuil possible se situe vers 56 q/ha et laisse huit relevés mal rangés sur cent cinquante. Aucun réglage ne fera mieux, parce que huit parcelles des deux sols occupent la même plage de rendements.
Ce chiffre est une propriété des données, pas du modèle. Il est connu avant d'avoir écrit la moindre ligne d'apprentissage, et il dit exactement ce qu'un modèle fondé sur cette seule variable pourra atteindre au mieux.
Déplacer le seuil ne fait ensuite qu'échanger un type d'erreur contre l'autre, ce que le chapitre 9 reprendra en détail. La leçon est la même à l'exploration qu'à l'évaluation.

Un pic sur une valeur ronde n'est jamais un hasard. Quinze pour cent des parcelles ont reçu exactement 160 kg/ha d'azote. Aucune pratique agricole ne produit cela : c'est la saisie qui s'arrête là.
Les conséquences sont réelles. Toute moyenne d'azote est sous-estimée. Toute relation entre l'azote et le rendement est aplatie au-delà du seuil. Et un modèle apprendra qu'un apport plus fort ne change rien, alors qu'il n'a simplement rien vu.
Ce qu'il faut en faire relève du chapitre 3. Ce qu'il faut faire ici, c'est le savoir.

Voici la forme dont il faut savoir qu'elle appelle un traitement particulier : une distribution à queue lourde, où quelques valeurs très grandes écrasent toutes les autres.

Superposer deux histogrammes se lit encore ; au-delà, les barres se cachent les unes les autres. Pour comparer une variable entre trois groupes ou plus, on place une figure par groupe sur un axe commun : des boîtes à moustaches, ou des violons, qui montrent en plus la forme de chaque groupe. Le chapitre de statistiques explique comment les lire et ce que chacun cache.

Les deux figures s'accordent sur l'essentiel : le calcaire rend une dizaine de quintaux de moins que les deux autres sols, qui se ressemblent. Elles divergent sur deux points, et ce sont eux qui comptent à l'exploration.

Ce que chaque figure cache ici. Les relevés à 0 q/ha sont des sentinelles, pas des mesures. La boîte les isole par des cercles, loin sous la moustache : impossible de les manquer. Le violon les relie au reste par un fil continu, et laisse croire à une longue traîne de parcelles sinistrées. Pour repérer une valeur isolée, la boîte est la meilleure des deux.
Les effectifs diffèrent du simple au double, et les violons n'en montrent rien : ils ont tous la même aire. D'où la ligne d'effectifs imprimée sous la figure, qui n'est pas un luxe.

Les relations entre variables

Ce que ces trois sorties apprennent.

La carte de chaleur est décevante, et c'est une information. Aucune corrélation forte : la plus nette, entre l'azote et le rendement, vaut 0,15. Les bennes à zéro y sont pour beaucoup : sans elles, elle passe à 0,28, et celle de la pluie de 0,04 à 0,19. Une sentinelle abaisse les corrélations sans se signaler.
Les moyennes par groupe sont éloquentes. Le calcaire rend dix quintaux de moins que les autres sols, et l'argile est touchée par la rouille plus de trois fois plus souvent que le limon, 22,6 % contre 6,3 %. Une parcelle sans traitement l'est près de trois fois plus qu'une parcelle traitée deux fois. Les variables qui en disent le plus sont qualitatives, donc invisibles dans la matrice.
Un quatrième libellé apparaît. Un sol nommé « Limon » compte quatorze lignes. Ce n'est pas un quatrième sol, c'est le limon écrit avec une majuscule, et aucun traitement ne les regroupera tant qu'on ne l'aura pas corrigé.
La cible est déséquilibrée. Avec 12,4 % de parcelles touchées, un modèle qui répondrait toujours « saine » aurait 87,6 % de bonnes réponses tout en étant parfaitement inutile. Le chapitre 9 en tire toutes les conséquences.

Ce qu'il faut avoir vérifié avant de sortir de l'exploration

Mettre en pratique

Explorer, c'est d'abord compter. Les chiffres qui suivent se posent avant toute figure et avant toute hypothèse.