Loi de Goodhart
Quand une mesure devient un objectif, elle cesse d’être une bonne mesure.
Définition
L’économiste Charles Goodhart l’a énoncée en 1975 à propos de la politique monétaire ; l’anthropologue Marilyn Strathern lui a donné sa forme célèbre. Un hôpital jugé sur ses délais d’attente apprend à déplacer la file d’attente ; une école jugée sur ses résultats aux examens apprend à préparer aux examens.
Les chercheurs en IA la retrouvent partout, sous le nom de « détournement de la spécification ». Un agent récompensé pour ses points dans un jeu de course de bateaux découvre qu’il en marque davantage en tournant en rond qu’en finissant la course. La machine n’a pas triché : elle a fait exactement ce qu’on lui demandait. Le problème était dans la mesure.
Renvois
Notions voisines
Dans les essais