La classification et le perceptron

Une frontière, pas un écart

Regarder la région, pas la formule. Deux classifieurs peuvent se tromper sur le même nombre d'exemples et se comporter de façon entièrement différente ailleurs. Ce qui les distingue n'est pas leur score, c'est la forme de la région qu'ils colorient.
Une droite découpe le plan en deux demi-plans, et rien d'autre ne lui est possible. Un vote de voisins produit un contour qui épouse les données. Un arbre ne sait tracer que des frontières parallèles aux axes, donc des rectangles.
Ces formes sont des hypothèses sur le problème, faites avant d'avoir vu la moindre donnée. Les figures de ce chapitre montrent la région entière plutôt que la seule frontière, parce que c'est là que se lit l'hypothèse.

Dans la figure ci-dessous, le fond montre la classe prédite en chaque point du plan. Les points A sont des parcelles saines, les points B des parcelles que la rouille a touchées. Les trois curseurs font pivoter et glisser la droite ; onze parcelles sont mal rangées au départ.

Le perceptron

La garantie, et exactement ce qu'elle ne dit pas.

Le théorème de convergence du perceptron affirme que si les deux classes sont séparables par une droite, l'algorithme s'arrête après un nombre fini de corrections, et le nombre de corrections est borné par $(R/\gamma)^2$ où $R$ est le rayon du nuage et $\gamma$ la marge de la meilleure droite.
C'est une garantie forte, et elle est entièrement conditionnelle. Si les classes ne sont pas séparables, le théorème ne dit rien du tout, et l'algorithme ne s'arrête pas : il corrige indéfiniment, en changeant de droite à chaque passage.
Rien dans le code ne signale cette situation. Une boucle sans limite tournerait pour toujours, et une boucle avec limite rend une droite quelconque parmi celles qu'elle a traversées. C'est pourquoi toute implémentation borne le nombre de passages, et c'est aussi pourquoi le perceptron a été abandonné au profit de méthodes qui minimisent une erreur plutôt que de compter des fautes.

Ce qu'une droite ne peut pas faire

Une probabilité plutôt qu'un côté

Le gradient est celui du chapitre 5, au mot près. Pour la régression, le gradient de l'erreur valait $\frac{2}{n} X^{\top}(X\beta - y)$, soit la matrice des attributs multipliée par le vecteur des écarts.
Cette écriture n'est pas un raccourci de notation : le produit d'une matrice par un vecteur, la transposition et ce qu'elles calculent réellement sont posés dans le chapitre sur les matrices et les systèmes linéaires.
Pour la régression logistique, le gradient de la perte logarithmique vaut $\frac{1}{n} X^{\top}(\sigma(Xw) - y)$ : la même chose, avec la probabilité à la place de la prévision.
Cette coïncidence n'en est pas une. Elle vient de ce que la fonction logistique et la perte logarithmique sont faites l'une pour l'autre, et c'est précisément ce qui rend cette perte préférable à toute autre.
La différence est qu'ici aucune formule fermée n'existe. Il faut descendre, ce qui est exactement la situation annoncée au chapitre 6.

Les plus proches voisins

Les arbres de décision

Pourquoi les deux moitiés doivent se regarder ensemble. Une coupe de l'arbre à gauche est un trait dans le plan à droite, et rien d'autre. Voir les deux bouger en même temps rend évidente la propriété qu'on énonce partout sans jamais la montrer : un arbre ne compare qu'un attribut à un seuil, donc ses frontières sont parallèles aux axes, toujours.
Le compteur de feuilles dit combien de régions ont été créées, et l'arbre s'arrête parfois de lui-même avant la profondeur demandée : quand aucune coupe ne fait plus baisser l'impureté, ou quand les deux côtés rendraient la même classe, il ne sert à rien de creuser.
Pousser le curseur jusqu'au bout montre enfin à quoi ressemble une erreur d'apprentissage nulle : des lamelles absurdes, tracées autour de quatre relevés faux.

Le même U, pour la troisième fois. L'erreur d'apprentissage descend de 5 à 0 quand la profondeur passe de 1 à 10, sans jamais remonter. L'erreur de test passe par un creux à zéro en profondeur 2, puis remonte à 3.
C'est exactement la forme rencontrée avec le degré du polynôme et avec le nombre de voisins. Trois modèles sans rapport, un seul phénomène : au-delà d'un certain point, la souplesse supplémentaire ne sert plus qu'à apprendre le bruit.
Ce qui change d'un modèle à l'autre est seulement le nom du réglage qui contrôle la souplesse : le degré, le nombre de voisins, la profondeur. Chercher ce réglage est la première chose à faire devant un modèle inconnu.

Quatre frontières sur les mêmes points

Ce que ferait scikit-learn. Les quatre modèles du chapitre tiennent en quelques appels de la bibliothèque de référence.

from sklearn.linear_model import LogisticRegression, Perceptron
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier, export_text
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

m = make_pipeline(StandardScaler(), LogisticRegression()).fit(X, y)
v = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=5)).fit(X, y)
a = DecisionTreeClassifier(max_depth=3).fit(X, y)     # pas de mise a l'echelle ici
print(export_text(a, feature_names=["temperature", "charge"]))
print(m.predict_proba(X)[:5])

Deux détails valent d'être notés. LogisticRegression applique par défaut une pénalité sur les coefficients, comme au chapitre 7 : ce n'est donc pas exactement le modèle écrit plus haut. Et predict_proba rend la probabilité, alors que predict rend déjà la classe en tranchant à 0,5 ; le chapitre suivant montre pourquoi ce seuil ne doit presque jamais rester à 0,5.

Mettre en pratique

La régression logistique rend une probabilité parce qu'elle passe un nombre réel dans la fonction sigmoïde. Calculer cette fonction en trois points suffit à voir ce qu'elle fait.

La dernière réponse est la raison d'être de tout le chapitre suivant. Un modèle linéaire trace une droite, et une droite ne sépare pas un damier. Le remède n'est pas un meilleur apprentissage, c'est un modèle capable de courber sa frontière.