Texte fondateur · Science et santé

Texte fondateur – Campbell et Goodhart : quand une mesure devient une cible, elle cesse de bien mesurer

La rédaction du Phare · · 5 min de lecture · Méthode

En 1975, l’économiste Charles Goodhart observe qu’une régularité statistique s’effondre dès qu’on s’en sert pour piloter. En 1976, le méthodologue Donald T. Campbell formule la même idée pour les politiques sociales. Une grille pour lire sondages, fréquentations et auto-évaluations sans prendre le chiffre pour la chose.

La thèse en une phrase

Un indicateur fonctionne tant qu'il observe ; dès qu'on récompense ou sanctionne sur sa base, les acteurs se mettent à agir sur le chiffre plutôt que sur ce qu'il mesurait, et le chiffre perd sa valeur.

Deux auteurs, une même observation

L'idée a été formulée presque en même temps, dans deux disciplines qui ne se parlaient guère.

En 1975, l'économiste britannique Charles Goodhart, conseiller à la Banque d'Angleterre, publie un article sur la politique monétaire du Royaume-Uni (« Problems of Monetary Management: The UK Experience »). Il y note que les relations statistiques sur lesquelles les banques centrales s'appuyaient, comme le lien entre une mesure de la masse monétaire et l'inflation, se défaisaient dès qu'elles servaient de cible. Sa formule : « Toute régularité statistique observée tend à s'effondrer dès qu'on exerce sur elle une pression à des fins de contrôle. »

En 1976, le psychologue et méthodologue américain Donald T. Campbell, spécialiste de l'évaluation des politiques publiques, écrit dans « Assessing the Impact of Planned Social Change » (publié en revue en 1979) : « Plus un indicateur social quantitatif est utilisé pour la prise de décision sociale, plus il est soumis à des pressions de corruption, et plus il risque de déformer et de corrompre les processus sociaux qu'il est censé observer. »

La version la plus connue vient d'une troisième voix. En 1997, l'anthropologue britannique Marilyn Strathern, étudiant l'audit des universités britanniques, résume l'idée de Goodhart : « Quand une mesure devient une cible, elle cesse d'être une bonne mesure. »

Pourquoi l'indicateur se déforme

Campbell donne un exemple tiré de l'école. Les tests de niveau, écrit-il, peuvent être de bons indicateurs des acquis des élèves quand l'enseignement vise une compétence générale. Mais quand les résultats aux tests deviennent le but de l'enseignement, ils perdent leur valeur d'indicateur et déforment l'enseignement lui-même : on prépare au test plutôt qu'on n'apprend.

Le mécanisme tient en trois temps :

  • Un chiffre est choisi parce qu'il est corrélé à ce qui compte : les résultats aux tests et le niveau réel, la fréquentation et l'utilité d'un musée.
  • On attache au chiffre une conséquence : un budget, une promotion, une fermeture.
  • Les acteurs, de bonne foi ou non, optimisent le chiffre. La corrélation qui le rendait utile se défait.

Ce n'est pas d'abord une affaire de fraude. Le plus souvent, chacun fait ce qu'on lui demande. C'est la demande elle-même qui a changé de nature.

Des cas documentés

La littérature récente en donne plusieurs exemples.

  • La science et ses citations. Selon une étude de Vladlen Koltun et David Hafner publiée en 2021, la corrélation entre l'indice h, qui mesure les citations d'un chercheur, et la reconnaissance scientifique (les prix) a diminué à mesure que cet indice s'est imposé dans l'évaluation.
  • Les tests de la pandémie. Dans How to Read Numbers (2021), Tom et David Chivers rappellent que, pour atteindre son objectif de 100 000 tests par jour au printemps 2020, le gouvernement britannique a compté des capacités de test, et pas seulement des tests effectivement réalisés. L'objectif a été atteint sur le papier.

Dans les deux cas, le chiffre a été tenu, et l'information qu'il portait s'est appauvrie.

Ce que la loi ne dit pas

Campbell et Goodhart sont souvent cités pour disqualifier toute mesure. C'est un contresens. Campbell était un défenseur de l'évaluation : il voulait des politiques publiques testées, mesurées, corrigées. Son avertissement porte sur l'usage d'un seul indicateur à fort enjeu, pas sur la mesure en général.

Trois nuances comptent :

  • Observer n'est pas piloter. Un sondage qui décrit l'opinion n'est pas corrompu de la même manière qu'un sondage dont dépend un financement.
  • Plusieurs indicateurs résistent mieux qu'un seul. Il est plus difficile d'optimiser cinq chiffres à la fois sans améliorer la chose elle-même.
  • Refuser de mesurer a aussi un coût. Sans chiffres, les décisions se prennent sur l'intuition ou l'influence, et elles sont plus difficiles à contester.

Relire l'actualité du mois

Plusieurs articles du Phare touchent ce problème.

Le Fil du Phare de la semaine relie ces cas autour d'une question : sommes-nous en train de confondre ce qui se mesure avec ce qui compte ?

Une grille en cinq questions

Face à une décision fondée sur un indicateur :

  • Que mesure-t-il exactement, et qu'a-t-on choisi de ne pas mesurer ?
  • Quelle conséquence lui est attachée ? Plus l'enjeu est fort, plus la pression de déformation l'est aussi.
  • Qui produit le chiffre, et qui en dépend ? Quand ce sont les mêmes, la vigilance s'impose.
  • Existe-t-il d'autres indicateurs pour recouper le premier ?
  • La corrélation de départ tient-elle encore ? Un chiffre utile hier peut avoir été vidé par l'usage qu'on en a fait.

—

Repères de sources

  • Source : Campbell, D. T. — Assessing the Impact of Planned Social Change, Evaluation and Program Planning, vol. 2, n° 1, p. 67-90 (1979)
  • Source : Goodhart, C. — Problems of Monetary Management: The UK Experience, Papers in Monetary Economics, Reserve Bank of Australia (1975)
  • Source : Strathern, M. — « Improving ratings »: audit in the British University system, European Review (1997)
  • Source : Wikipédia — Goodhart's law (exemples et références)

Toutes les références (5)