Les réseaux de neurones : couches et non-linéarité

Un neurone

Un neurone est une droite, et le restera. La partie $w \cdot x + b$ est une combinaison linéaire, donc une droite en deux dimensions, un plan en trois, un hyperplan au-delà. L'activation ne fait qu'écraser le résultat entre deux bornes : elle change la valeur rendue, jamais la forme de la frontière.
La figure ci-dessous le vérifie. Un réseau réduit à une seule cellule cachée, entraîné aussi longtemps qu'on veut sur le damier, se stabilise à sept erreurs sur vingt-huit, c'est-à-dire au plancher que le chapitre 8 avait établi pour une droite.
Ce n'est donc pas la non-linéarité seule qui débloque le problème : c'est le fait d'en avoir plusieurs, et de les combiner.

Empiler ne suffit pas

Plusieurs cellules, et la frontière se courbe

Comment quatre droites font une frontière courbe. Chaque cellule cachée calcule sa propre combinaison $w \cdot x + b$ et l'écrase entre $-1$ et $1$. Chacune est donc une question binaire floue : « ce point est-il d'un côté ou de l'autre de ma droite, et à quel point ».
La couche de sortie ne voit plus les attributs d'origine : elle voit les réponses des quatre cellules. Dans cet espace-là, les classes sont devenues séparables par un simple hyperplan, ce qu'elles n'étaient pas dans l'espace de départ.
C'est la seconde issue annoncée au chapitre 8 : plutôt que de changer d'espace à la main en ajoutant l'attribut $x \times y$, on laisse le réseau construire lui-même l'espace où le problème devient facile. C'est là toute la différence, et c'est ce qui a rendu ces méthodes irremplaçables.

La rétropropagation

Combien de cellules, et l'initialisation

Ce qu'une seule couche cachée peut faire

Ce qui va mal en profondeur

Quatre difficultés, et leurs remèdes.

Les gradients qui s'évanouissent. La rétropropagation multiplie les dérivées locales couche après couche. Avec une sigmoïde, dont la dérivée ne dépasse jamais 0,25, dix couches multiplient par au plus $0{,}25^{10}$, soit un millionième : les premières couches n'apprennent plus rien. Le remède principal a été de remplacer la sigmoïde par ReLU, $\max(0, z)$, dont la dérivée vaut 1 sur toute la partie active.
La saturation. Un neurone dont l'entrée est très grande en valeur absolue a une dérivée quasi nulle et cesse d'apprendre. C'est la même raison qui, au chapitre 8, disqualifiait la perte carrée sur une sigmoïde.
L'initialisation. Des poids trop grands saturent d'emblée, des poids trop petits laissent le signal s'éteindre. Les recettes usuelles règlent l'écart-type initial en fonction du nombre d'entrées de chaque couche.
Le déséquilibre entre couches. La normalisation par lots et les connexions résiduelles, qui laissent le signal court-circuiter une couche, sont les deux réponses qui ont rendu les réseaux très profonds entraînables.

import torch, torch.nn as nn

modele = nn.Sequential(nn.Linear(2, 4), nn.Tanh(), nn.Linear(4, 1))
perte, opt = nn.BCEWithLogitsLoss(), torch.optim.Adam(modele.parameters(), lr=0.05)

for _ in range(3000):
    opt.zero_grad()
    e = perte(modele(Z).squeeze(), y)
    e.backward()          # la retropropagation, ecrite a la main plus haut
    opt.step()

Mettre en pratique

Un réseau se compte en paramètres, et ce compte dit à la fois ce qu'il peut apprendre et ce qu'il risque de sur-apprendre.

Ce que la non-linéarité achète. Sans elle, empiler dix couches ne produit rien de plus qu'une seule : la composée reste linéaire, donc la frontière reste une droite. Les quarante-trois paramètres du réseau ci-dessus n'auraient alors pas plus de pouvoir que les quinze d'une couche unique de 4 vers 3.
La fonction d'activation n'est donc pas un réglage de confort. C'est la seule chose qui distingue un réseau profond d'un modèle linéaire coûteux.