De la prédiction à la décision : l'équité
Ce que ce chapitre apporte 6 points
- Distinguer ce que calcule un modèle de ce que décide un système.
- Assembler une chaîne complète, de la donnée brute à la décision mesurée.
- Montrer qu'une variable sensible retirée se reconstitue depuis les autres.
- Comparer trois définitions d'équité et dire pourquoi elles sont incompatibles.
- Expliquer une décision individuelle et reconnaître une explication inutilisable.
- Écrire ce qu'il faut savoir d'un modèle avant de le mettre en service.
Ce qu'un modèle ne décide pas
Ce qui refuse, c'est un seuil, choisi par quelqu'un ; une politique, qui dit ce qu'on fait des cas limites ; un recours, qui existe ou non ; et une boucle, puisque les décisions d'aujourd'hui deviennent les données de demain.
Aucune de ces quatre choses n'est dans le modèle, et aucune ne s'optimise. Ce sont des décisions humaines, prises par des gens qui souvent n'ont pas vu le modèle, à partir de chiffres produits par des gens qui souvent ne verront jamais les conséquences.
Ce chapitre porte sur cet espace entre les deux, parce que c'est là que se joue à peu près tout ce qui compte.
La chaîne complète
Rien n'a été bâclé. Les données sont séparées avant toute préparation, la mise à l'échelle est réglée sur le seul jeu d'apprentissage, la pénalité est choisie sur la validation, le seuil vient d'un rapport de coûts, et le test n'a servi qu'une fois. Le modèle obtient une aire sous la courbe de 0,840, et le seuil retenu de 0,13 économise 55 % par rapport au 0,50 par défaut.
Puis vient la dernière ligne.
Groupe A : 15,4 % des demandes refusées, et 12,8 % des bons payeurs refusés.
Groupe B : 45,7 % des demandes refusées, et 37,4 % des bons payeurs refusés.
Trois fois plus de refus, et trois fois plus de bons payeurs écartés à tort. Le groupe n'a jamais été donné au modèle.
Le même seuil, deux populations
1 cas manqués et 8 fausses alertes. Baisser le seuil échange des manqués contre des fausses alertes, jamais l'inverse.
1 cas manqués et 15 fausses alertes. Baisser le seuil échange des manqués contre des fausses alertes, jamais l'inverse.
D'où vient l'écart.
Pas d'une variable interdite. Le groupe n'a jamais été donné au modèle.
Pas d'un défaut de modélisation. L'aire sous la courbe atteint 0,840 pour un plafond théorique de 0,831 sur ce jeu : le modèle est à peu près aussi bon que les données le permettent.
De la réalité que les données décrivent. Le groupe B a en moyenne trois ans de moins d'ancienneté bancaire et un revenu médian inférieur de 27 %. Ces différences sont réelles, et elles sont prédictives du défaut. Le modèle les utilise, correctement.
La question n'est donc pas « le modèle triche-t-il », mais « a-t-on le droit de décider ainsi ». Cette question ne se règle pas avec une matrice de confusion, et elle ne se règle pas non plus en accusant l'algorithme, qui n'a fait que restituer fidèlement ce qu'on lui a montré.
Retirer la variable ne suffit pas
Retirer aussi l'indice de zone, le proxy le plus évident, laisse encore 0,820. Et l'indice de zone à lui seul en atteint 0,886 : une seule variable géographique désigne presque le groupe.
La conséquence est nette. Un modèle « aveugle » ne l'est pas : il reconstitue l'information interdite à partir de ce qui reste, et il l'utilise, sans que rien ne le signale. La seule façon de savoir ce qu'il fait est de mesurer ses effets par groupe, ce qui suppose de conserver la variable sensible pour l'évaluation, alors même qu'on l'exclut de la décision.
Ce n'est pas une contradiction : ce sont deux usages différents de la même colonne, et les confondre conduit à ne plus rien pouvoir vérifier.
1.Dans la chaîne complète, quand séparer les données d'apprentissage et de test ?
2.Le groupe n'est pas donné au modèle. Que peut-on en conclure ?
3.Faut-il garder la variable sensible dans les données ?
Trois définitions d'équité, et aucune ne coexiste
Parité démographique : refuser la même proportion dans chaque groupe.
Égalité des chances : parmi ceux qui auraient remboursé, en refuser la même part dans chaque groupe ; et parmi ceux qui auraient fait défaut, en détecter la même part.
Calibration par groupe : un score de 0,3 doit signifier trois défauts sur dix, dans chaque groupe.
Ce n'est pas un défaut de réglage. C'est un théorème : dès que les taux de défaut réels diffèrent entre les groupes, et sauf classifieur parfait, aucune règle de décision ne peut satisfaire en même temps l'égalité des taux d'erreur et l'égalité de la valeur prédictive.
Il faut donc choisir laquelle de ces propriétés on veut, et ce choix est politique et juridique, pas technique. Le rôle de celui qui construit le système est de rendre le choix visible et chiffré, pas de le trancher en silence par un seuil laissé à 0,5.
Peut-on satisfaire toutes les définitions d'équité à la fois ?
Expliquer une décision
Ce qu'une explication doit être pour servir à quelque chose.
Fidèle. Elle doit décrire ce que le modèle a réellement fait. Ici la somme des contributions redonne exactement le score, parce que le modèle est linéaire. Sur un modèle plus complexe, l'explication est elle-même une approximation, et cette approximation peut être fausse.
Actionnable. Motiver un refus par « l'indice de zone est trop bas » ne sert à rien : personne ne choisit son quartier pour obtenir un crédit, et la contrefactuelle demande ici une valeur négative sur une échelle qui commence à zéro.
Honnête sur ce qu'elle ne dit pas. Une contrefactuelle donne un chemin possible, pas le seul, ni forcément le plus court. Et un chemin peut être arithmétiquement correct et humainement absurde : « avoir huit ans d'ancienneté bancaire de plus » est un calcul juste et une réponse inutile.
Le test à faire passer à toute explication est simple : la lire à voix haute à la personne concernée. Si elle ne peut rien en faire, ce n'est pas une explication, c'est une justification.
Une contrefactuelle indique un nombre d'incidents négatif. Cela signifie…
La fiche du modèle
Ce qu'il fait : la question exacte à laquelle il répond, et la décision qu'il alimente.
Sur quoi il a été appris : période, périmètre, taille, taux de base, et ce qui n'est pas représenté.
Ce qu'il vaut : les mesures du chapitre 9, au seuil employé, et le taux de base à côté.
Ce qu'il vaut par groupe : les mêmes mesures, ventilées, y compris pour les groupes dont les variables ne sont pas dans le modèle.
Le seuil, et d'où il vient : le rapport de coûts retenu, et qui l'a fixé.
Ce qu'il ne sait pas faire : les régimes hors du domaine observé, les populations sous-représentées, les cas où il a été mesuré comme mauvais.
Quand le revérifier : à quelle fréquence, sur quels indicateurs, et qui s'en charge.
Aucun de ces points n'est technique. Tous sont indispensables, et leur absence est ce qui distingue un modèle mis en service d'un modèle mis en service correctement.
Une demande refusée ne produit jamais d'issue connue. On ne saura pas si cette personne aurait remboursé, et son dossier ne rejoindra donc jamais les données d'apprentissage. Le modèle suivant apprendra sur une population filtrée par le modèle précédent, et se croira d'autant plus juste qu'il ne verra plus ses propres erreurs.
Le remède connu est coûteux et rarement appliqué : accepter délibérément une petite part de dossiers que le modèle aurait refusés, pour continuer à observer ce qui se passe de l'autre côté du seuil. C'est le prix de savoir si l'on a raison.
Sans cela, la seule chose qu'on mesure est la cohérence du système avec lui-même.
1.Pourquoi un système de décision dégrade-t-il ses propres données ?
2.Qu'est-ce qui décide finalement du sort d'une demande ?
Mettre en pratique
L'équité d'un système se mesure, et les mesures ne s'accordent pas entre elles. Les calculer sur deux groupes suffit à le voir.
Deux groupes, trois mesures qui se contredisent
- 1.
Le groupe A compte 1 000 individus dont 100 positifs. Quel est son taux de positifs, en pour cent ?
- 2.
Le groupe B compte 1 000 individus dont 300 positifs. Quel est son taux, en pour cent ?
- 3.
Un système sélectionne 100 individus dans le groupe A et 300 dans le groupe B. Quel est l'écart entre les deux taux de sélection, en points ?
- 4.
Une variable sensible est retirée du modèle. Combien de variables corrélées à elle faut-il pour que le modèle la reconstitue ?
Trois définitions d'équité, et leur incompatibilité. La parité démographique exige des taux de sélection égaux entre groupes. L'égalité des chances exige des rappels égaux. La calibration exige qu'une probabilité annoncée ait le même sens dans les deux groupes.
Quand les taux de positifs diffèrent réellement entre les groupes, comme ici 10 % contre 30 %, il est mathématiquement impossible de satisfaire les trois à la fois. Ce n'est pas une limite des outils, c'est un résultat démontré.
Le travail consiste donc à choisir laquelle importe pour l'usage considéré, et à écrire ce choix. Ne pas choisir revient à laisser le hasard de l'implémentation décider à la place, ce qui est la seule option franchement mauvaise.
Faut-il conserver la variable sensible dans le jeu de données ?
Par où commencer ? Séparer les deux usages qu'on peut faire de la variable : mesurer ce que fait le système, et décider à sa place.
Pourquoi séparer ces deux usages avant de répondre ?
Le corrigé
- Évaluer sans elle ? Impossible : sans la variable, on ne peut plus mesurer les effets par groupe, donc plus savoir ce que fait le système. On se prive du seul instrument de contrôle, au nom d'une neutralité qui n'existe pas, puisque le chapitre a montré que le groupe se reconstitue depuis les autres colonnes.
- Décider avec elle ? Avec la variable dans le modèle, la décision s'appuie explicitement dessus, ce que la plupart des cadres juridiques interdisent.
- Conclure. La conserver dans les données, l'exclure des variables d'entrée, et publier les mesures ventilées par groupe.
- Vérifier ce que cela demande. Une gouvernance sur qui accède à quoi : c'est un travail d'organisation autant que de code, et il s'écrit dans la fiche du modèle.
Peut-on rendre un système équitable selon toutes les définitions à la fois ?
Par où commencer ? Comparer les taux de base des deux groupes : c'est d'eux que dépend la réponse.
Le corrigé
- Constater que les taux de base diffèrent. Dans le crédit du chapitre, quatre défauts sur soixante dossiers dans le groupe A, dix sur soixante dans le groupe B.
- Appliquer le résultat d'impossibilité. Dès que les taux de base diffèrent réellement, et à moins que le classifieur ne soit parfait, aucune règle de décision ne peut satisfaire à la fois l'égalité des taux d'erreur et l'égalité de la valeur prédictive. C'est un résultat démontré, pas une limite des méthodes.
- Le vérifier sur les chiffres du chapitre. Sur les quatre politiques essayées, la précision reste très différente d'un groupe à l'autre, jusqu'à 0,221 contre 0,632.
- Conclure. Il faut choisir la propriété à préserver, selon le domaine et ce que coûte chaque erreur à chaque groupe. Ce choix est politique et juridique ; le travail technique consiste à le rendre visible et chiffré, pas à le trancher par défaut.
Que doit contenir la fiche d'un modèle mis en service ?
Par où commencer ? Se mettre à la place de qui reprendra le modèle dans un an, sans avoir assisté à sa construction : que lui faut-il savoir ?
Le corrigé
- Ce qu'il fait : la question exacte, et la décision qu'il alimente.
- Sur quoi il a été appris : période, périmètre, taille, taux de base, et ce qui n'y figure pas.
- Ce qu'il vaut : les mesures du chapitre 9, au seuil employé, avec le taux de base à côté, puis les mêmes mesures par groupe.
- Ce qu'il ne faut pas lui demander, et quand le réévaluer : un modèle de décision dégrade ses propres données, puisqu'on n'observe plus le sort des dossiers refusés.
- Vérifier qu'elle tient en une page, et qu'elle est datée. Aucun de ces points n'est technique, et c'est précisément pour cela qu'ils sont si souvent absents.
Chapitre révisé en octobre 2026 · Une erreur dans ce chapitre ?
Dans la bibliothèque d'exercices
Le même seuil sur deux populations, et les trois mesures d'équité qui ne coexistent pas.
- Le même seuil, deux populationsNiveau 2
- Trois mesures d'équité, et aucune ne coexisteNiveau 1
- Le code postal qui trahit le groupeNiveau 2
- Le refus que rien ne fait reculerNiveau 2
- L'agence qui n'apprend que de ses acceptésNiveau 3
- Une probabilité qui n'a pas le même sensNiveau 1