Plutôt que de réduire le degré du modèle, on peut le laisser riche et l'empêcher de trop s'agiter. C'est le rôle de la pénalité, qui décourage les grands coefficients.
Les mesures, à degré 9 fixé
| Pénalité | Erreur d'apprentissage | Erreur de test |
|---|---|---|
| 0 | 0,02 | 1,89 |
| 0,001 | 0,09 | 0,73 |
| 0,01 | 0,22 | 0,38 |
| 0,1 | 0,61 | 0,89 |
| 1 | 1,44 | 1,62 |
| 10 | 2,25 | 2,40 |
Objectif
Trouver la pénalité retenue, relever les erreurs de test aux deux extrémités, et nommer le défaut qu'une pénalité trop forte provoque.
Répondre à la dernière question par sur ou sous.
Rappels
Le degré reste à 9 dans toutes les lignes. Ce n'est donc pas la richesse du modèle qui change, mais la liberté qu'on lui laisse d'exploiter cette richesse.
Pièges
Aux deux extrémités du tableau, l'erreur de test est mauvaise pour des raisons opposées. À gauche le modèle épouse le bruit, à droite il est trop contraint pour épouser quoi que ce soit.