La thèse en une phrase
Un indicateur fonctionne tant qu'il observe ; dès qu'on récompense ou sanctionne sur sa base, les acteurs se mettent à agir sur le chiffre plutôt que sur ce qu'il mesurait, et le chiffre perd sa valeur.
Deux auteurs, une même observation
L'idée a été formulée presque en même temps, dans deux disciplines qui ne se parlaient guère.
En 1975, l'économiste britannique Charles Goodhart, conseiller à la Banque d'Angleterre, publie un article sur la politique monétaire du Royaume-Uni (« Problems of Monetary Management: The UK Experience »). Il y note que les relations statistiques sur lesquelles les banques centrales s'appuyaient, comme le lien entre une mesure de la masse monétaire et l'inflation, se défaisaient dès qu'elles servaient de cible. Sa formule : « Toute régularité statistique observée tend à s'effondrer dès qu'on exerce sur elle une pression à des fins de contrôle. »
En 1976, le psychologue et méthodologue américain Donald T. Campbell, spécialiste de l'évaluation des politiques publiques, écrit dans « Assessing the Impact of Planned Social Change » (publié en revue en 1979) : « Plus un indicateur social quantitatif est utilisé pour la prise de décision sociale, plus il est soumis à des pressions de corruption, et plus il risque de déformer et de corrompre les processus sociaux qu'il est censé observer. »
La version la plus connue vient d'une troisième voix. En 1997, l'anthropologue britannique Marilyn Strathern, étudiant l'audit des universités britanniques, résume l'idée de Goodhart : « Quand une mesure devient une cible, elle cesse d'être une bonne mesure. »
Pourquoi l'indicateur se déforme
Campbell donne un exemple tiré de l'école. Les tests de niveau, écrit-il, peuvent être de bons indicateurs des acquis des élèves quand l'enseignement vise une compétence générale. Mais quand les résultats aux tests deviennent le but de l'enseignement, ils perdent leur valeur d'indicateur et déforment l'enseignement lui-même : on prépare au test plutôt qu'on n'apprend.
Le mécanisme tient en trois temps :
- Un chiffre est choisi parce qu'il est corrélé à ce qui compte : les résultats aux tests et le niveau réel, la fréquentation et l'utilité d'un musée.
- On attache au chiffre une conséquence : un budget, une promotion, une fermeture.
- Les acteurs, de bonne foi ou non, optimisent le chiffre. La corrélation qui le rendait utile se défait.
Ce n'est pas d'abord une affaire de fraude. Le plus souvent, chacun fait ce qu'on lui demande. C'est la demande elle-même qui a changé de nature.
Des cas documentés
La littérature récente en donne plusieurs exemples.
- La science et ses citations. Selon une étude de Vladlen Koltun et David Hafner publiée en 2021, la corrélation entre l'indice h, qui mesure les citations d'un chercheur, et la reconnaissance scientifique (les prix) a diminué à mesure que cet indice s'est imposé dans l'évaluation.
- Les tests de la pandémie. Dans *How to Read Numbers* (2021), Tom et David Chivers rappellent que, pour atteindre son objectif de 100 000 tests par jour au printemps 2020, le gouvernement britannique a compté des capacités de test, et pas seulement des tests effectivement réalisés. L'objectif a été atteint sur le papier.
Dans les deux cas, le chiffre a été tenu, et l'information qu'il portait s'est appauvrie.
Ce que la loi ne dit pas
Campbell et Goodhart sont souvent cités pour disqualifier toute mesure. C'est un contresens. Campbell était un défenseur de l'évaluation : il voulait des politiques publiques testées, mesurées, corrigées. Son avertissement porte sur l'usage d'un seul indicateur à fort enjeu, pas sur la mesure en général.
Trois nuances comptent :
- Observer n'est pas piloter. Un sondage qui décrit l'opinion n'est pas corrompu de la même manière qu'un sondage dont dépend un financement.
- Plusieurs indicateurs résistent mieux qu'un seul. Il est plus difficile d'optimiser cinq chiffres à la fois sans améliorer la chose elle-même.
- Refuser de mesurer a aussi un coût. Sans chiffres, les décisions se prennent sur l'intuition ou l'influence, et elles sont plus difficiles à contester.
Relire l'actualité du mois
Plusieurs articles du Phare touchent ce problème.
- La fréquentation d'un musée. À Philadelphie, le musée de l'Academy of Natural Sciences a fermé au nom de la baisse des visites. D'anciens salariés estiment que des choix de gestion y ont contribué : un indicateur peut juger ce qu'il a lui-même contribué à orienter. Nous avons posé la question en général : un lieu de savoir doit-il être jugé à sa fréquentation ?
- L'auto-évaluation. Quand ceux qui développent une technologie jugent seuls de sa sécurité, ils sont à la fois mesurés et mesureurs : c'est la situation où, selon Campbell, la pression sur l'indicateur est la plus forte.
- Le prix d'une appartenance. L'Argentine propose un passeport contre 350 000 dollars : un montant fixe tient lieu de critère d'admission dans une communauté politique.
- Les chiffres électoraux. En Lettonie, un score n'est pas une majorité ; au Brésil, un sondage n'est pas un vote. Ici, le chiffre n'est pas corrompu, mais il est lu au-delà de ce qu'il dit.
Le Fil du Phare de la semaine relie ces cas autour d'une question : sommes-nous en train de confondre ce qui se mesure avec ce qui compte ?
Une grille en cinq questions
Face à une décision fondée sur un indicateur :
- Que mesure-t-il exactement, et qu'a-t-on choisi de ne pas mesurer ?
- Quelle conséquence lui est attachée ? Plus l'enjeu est fort, plus la pression de déformation l'est aussi.
- Qui produit le chiffre, et qui en dépend ? Quand ce sont les mêmes, la vigilance s'impose.
- Existe-t-il d'autres indicateurs pour recouper le premier ?
- La corrélation de départ tient-elle encore ? Un chiffre utile hier peut avoir été vidé par l'usage qu'on en a fait.
—
Repères de sources
- Source : Campbell, D. T. — Assessing the Impact of Planned Social Change, Evaluation and Program Planning, vol. 2, n° 1, p. 67-90 (1979)
- Source : Goodhart, C. — Problems of Monetary Management: The UK Experience, Papers in Monetary Economics, Reserve Bank of Australia (1975)
- Source : Strathern, M. — « Improving ratings »: audit in the British University system, European Review (1997)
- Source : Wikipédia — Goodhart's law (exemples et références)
La question suivante
Comment se servir d'un indicateur sans qu'il finisse par déformer ce qu'il devait observer ?
Pour aller plus loin
- Le Fil du Phare — Sommes-nous en train de confondre ce qui se mesure avec ce qui compte ?
- Un lieu de savoir doit-il être jugé à sa fréquentation ?
- David Collingridge (1980) : le dilemme du contrôle technologique
- Mesurer ou juger : ce qu'un indicateur laisse hors champ
Sur le Sentier du Savoir
