Contester la tyrannie des métriques, des mesures et du managérialisme – Le blog de la santé

Contester la tyrannie des métriques, des mesures et du managérialisme – Le blog de la santé
4.1 (82.67%) 15 votes

Par DAVID SHAYWITZ

Le tableau de bord est le symbole puissant de notre époque. Il offre une visualisation élégante des données et est destiné à capturer et à représenter les performances d'un système, en révélant d'un coup d'œil l'état actuel, et en soulignant les préoccupations émergentes potentielles. Les tableaux de bord sont une caractéristique importante de la plupart des projets de «données volumineuses» auxquels je peux penser, proposés par tous les fournisseurs et conçus pour offrir un puissant sentiment de contrôle au spectateur. Il semblait approprié que le Dr Vas Narasimhan, PDG de Novartis, ancien consultant de McKinsey, construise (alors tweet enthousiasmés par "notre nouvelle" tour de contrôle "" – essentiellement un super tableau de bord multi-écrans – "pour suivre, analyser et prédire l’état de toutes nos études cliniques. Plus de 500 essais actifs, plus de 70 pays, plus de 80 000 patients – une transformation du développement de nos médicaments. »Les tableaux de bord sont la manifestation physique de l'idéologie du Big Data, l'idée que si vous pouvez le mesurer, vous pouvez le gérer.

Cependant, je suis de plus en plus préoccupé par le fait que l’idéologie des mégadonnées a pris une vie bien à elle, assumant à la fois un sentiment d’inévitabilité et d’auto-justification. De la mesure au service des personnes, nous semblons de plus en plus mesurer au service des données, en mettant en place des systèmes et des organisations où une mesure constante apparaît souvent comme une fin en soi.

Mes inquiétudes, en fait, ne sont guère originales. J’ai été ravi de découvrir au cours de l’année écoulée ce qu’on aurait pu appeler un mouvement clandestin de dissidents qui remettent en question la direction que nous semblons prendre et qui ont discuté de manière réfléchie de nombreuses questions sur lesquelles j’ai trébuché. (Coup de chapeau à un podcast spécial, voix indépendante et originale de l'univers des podcasts dans le secteur de la santé, pour m'avoir présenté à plusieurs de ces penseurs, dont Jerry Muller et Gary Klein.)

Kenneth Cukier et Viktor Mayer-Schönberger en 2013 sont un bon endroit pour commencer. Examen de la technologie, Attention,

«Nous sommes plus susceptibles que nous ne le pensons de la« dictature des données », c’est-à-dire de laisser les données nous gouverner d’une manière qui puisse causer autant de tort que de bien. La menace est que nous nous laissions nous engager aveuglément par le résultat de nos analyses, même lorsque nous avons des motifs raisonnables de penser que quelque chose ne va pas. »

Citant l'exemple du secrétaire à la Défense, Robert McNamara, Kukier et Mayer-Schönberger, obsédés par les métriques, concluent,

«Les mégadonnées serviront de base à l'amélioration des médicaments que nous consommons, de notre façon d'apprendre et des actions des individus. Cependant, le risque est que ses pouvoirs extraordinaires nous incitent à commettre le péché de McNamara: à devenir tellement obsédés par les données, et tellement obsédés par le pouvoir et la promesse qu’ils offrent, que nous ne reconnaissons pas sa capacité inhérente à induire en erreur. "

Jerry Muller

Historien, dans son nouveau livre essentiel La tyrannie des métriques, offre ce qui pourrait être le meilleur résumé de la manière dont la pensée semblable à celle de McNamara a imprégné la nôtre; De la même manière que Steven Levy, en 1984, écrivait que le tableur (récemment introduit) «est un outil, mais aussi une vision du monde», Muller offre une vision similaire des métriques, dont il craint qu'elle ne se transforme en fixation.

«La caractéristique la plus caractéristique de la fixation métrique est l'aspiration au jugement de remplacement basé sur l'expérience de la mesure standardisée. Car le jugement est compris comme personnel, subjectif et intéressé. Les métriques, en revanche, sont supposées fournir des informations difficiles et objectives. La stratégie consiste à améliorer l'efficacité institutionnelle en offrant des récompenses à ceux dont les indicateurs sont les plus élevés, ou dont les repères ou les objectifs ont été atteints, et à pénaliser ceux qui sont en retard….

Certes, il existe de nombreuses situations dans lesquelles la prise de décision basée sur une mesure standardisée est supérieure à un jugement basé sur une expérience et une expertise personnelles…. (U) séduit judicieusement alors, la mesure de ce qui n’était pas mesuré auparavant peut offrir de réels avantages….

Si ce qui est réellement mesuré est une approximation raisonnable de ce que l'on veut mesurer, et s'il est combiné à un jugement, la mesure peut aider les praticiens à évaluer leur propre performance, à la fois pour les individus et pour les organisations. Toutefois, des problèmes se posent lorsque ces mesures deviennent les critères utilisés pour récompenser et punir – lorsque les paramètres deviennent la base du système de rémunération au rendement ou de notation. ”

Il observe que «la fixation de métriques entraîne un détournement des ressources des producteurs de première ligne vers les gestionnaires, les administrateurs et ceux qui collectent et manipulent des données».

Muller’s a déclaré: «Tout ce qui est important n’est pas tout mesurable, et tout ce qui est mesurable n’est pas important».

Nassim Taleb

Le cygne noir L’auteur s’inquiète également de la façon dont nous pensons aux données, en écrivant Antifragile (et extrait ici),

«Dans la prise de décision commerciale et économique, les données entraînent de graves effets secondaires. Les données sont désormais abondantes grâce à la connectivité. et la part de parasites dans les données augmente au fur et à mesure que l'on s'y immerge davantage. Une propriété de données peu discutée: elle est toxique en grande quantité, même en quantité modérée….

Plus vous consultez fréquemment les données, plus vous êtes susceptible de générer un bruit disproportionné (plutôt que la partie précieuse appelée signal); par conséquent, plus le rapport signal sur bruit est élevé. "

En effet, lors de son témoignage devant le Congrès à la suite de la crise financière, Taleb,

«Certains peuvent utiliser l'argument de prédiction des risques égal ou meilleur que rien; en utilisant des arguments tels que «nous sommes conscients des limites». La mesure et la prévision des risques – toute prévision – a pour effet secondaire d’augmenter la prise de risques, même de ceux qui savent qu’elles ne sont pas fiables. Nous avons de nombreuses preuves de ce que l’on appelle «ancrage» dans l’étalonnage des décisions. L'information, même si elle est connue pour être stérile, augmente la confiance excessive. "

Frank Pasquale

Un professeur de droit a présenté un résumé particulièrement convaincant de notre situation actuelle. En 2017, son jugement professionnel est certes un peu difficile, mais il est néanmoins indispensable.

Zéros Pasquale sur l'essence réductionniste de nombreuses approches centrées sur les données,

«La robotique et l'intelligence artificielle, y compris même les systèmes avancés d'apprentissage automatique, comprennent les professions en tant qu'emplois, les tâches en tant que tâches et les tâches telles que l'observation, le traitement de l'information et l'actionnement. Bien que de telles stratégies de division du travail soient judicieuses dans de nombreux contextes industriels, elles ignorent les évaluations holistiques irréductibles qui caractérisent un bon jugement. “

Pourtant, écrit Pasquale,

«Au lieu du réductionnisme, un holisme englobant est une caractéristique de la pratique professionnelle: une capacité à intégrer les faits et les valeurs, les exigences du cas particulier et les prérogatives de la société, ainsi que le délicat équilibre entre mission et marge….

Pendant plus de dix ans, les entreprises ont exhorté les gestionnaires à être des «super-calculateurs», des quantificateurs obsédés par les chiffres, capables de prendre des décisions importantes aussi «pilotées par les données» que possible. Ce travail a une qualité presque évangélique, une conviction passionnée que les décisions plus anciennes, guidées par l’intuition, sont une relique pécheuse d’un monde déchu….

Le pouvoir proportionnel des nombres, balayant les récits contestables, promet un simple classement par ordre de mérite, que ce soit dans les écoles, les hôpitaux ou au-delà. Les mesures ne sont pas simplement imposées de haut en bas. Ils colonisent également notre propre compréhension du mérite. "

Pasquale reconnaît que de telles approches managériales rehaussent «le système fondé sur les données, tout en minimisant le processus trop humain de collecte, de nettoyage et d'analyse des données».

Pasquale réitère également l'affirmation de Muller selon laquelle les indicateurs «faussent souvent la pratique sociale qu'ils mesurent ostensiblement», citant la loi de Campbell: «Plus un indicateur social quantitatif est utilisé pour la prise de décision sociale, plus il sera soumis aux pressions de la corruption et plus Cela aura pour effet de fausser et de corrompre les processus sociaux qu’elle est censée surveiller. "(Cette idée a également trouvé une expression dans la loi de Goodhart, essentiellement:" Quand une mesure devient une cible, elle cesse d’être une bonne mesure. ")

Enfin, tout en soulignant que «la quantification et la métrique globales» ne constituent pas «la logique inéluctable du progrès économique», reconnaît Pasquale, «Pour les vrais partisans de la métrique et de la normalisation, les problèmes avec les métriques existantes sont simplement une incitation à améliorer les métriques».

Mes reflets

Les auteurs cités plus haut méritent une lecture attentive et une critique réfléchie. Je les ai cités pour donner l’impression qu’il existe une vision du monde différente de celle dans laquelle beaucoup d’entre nous vivons, qu’il s’agisse de travailler dans une multinationale ou dans un hôpital à but non lucratif local. C’est un monde dominé par une foi religieuse en le managérialisme, l’idée que le bon moyen d’améliorer les performances est de mesurer plus, de capturer plus de données et d’utiliser ces données pour gérer de façon de plus en plus granulaire, dans un style comportemental qui peut être tracé. retour à Taylor mais se sent souvent plus endetté à Pavlov.

Pour être clair, ce n’est pas que les critiques ne peuvent pas apprécier l’utilité des données, des mesures, des métriques; ils expliquent en quoi chacun de ces facteurs peut avoir une importance capitale – un outil précieux. Le problème semble être que nous avons choisi un outil, une approche, un état d’esprit (pour revenir à la phrase de Levy) et que nous avons commencé à l’appliquer presque sans discernement, avec une ferveur quasi religieuse. Nous le faisons parce que nous pouvons – il y a toujours plus de données à capturer, et il existe de très réels exemples dans lesquels les données fournissent des informations essentielles que l'intuition humaine seule aurait peut-être manquée ou déjà manquée.

Mais l'idée que les données permettent de remplacer les préjugés humains par une objectivité pure est une illusion fantasmatique. Le jugement humain est biaisé, mais le culte des données ne nous transporte pas comme par magie dans le royaume de la saine objectivité. Dans le monde des données, les biais abondent, imprègnent tout ce que nous faisons – y compris la façon dont nous décidons quelles données collecter (et décide ce qui est «collectable»), comment nous décidons comment mesurer, comment nous décidons comment analyser et ce que nous décidons à voir avec les résultats de ces analyses.

La solution n’est pas de rejeter toutes les données, mesures ou mesures, mais bien de veiller à ce que ces outils ne soient pas respectés indûment ou ne bénéficient pas d’un avantage non acquis du doute. Nous devons exploiter les données et les métriques de manière sélective et judicieuse, tout comme nous devons reconnaître et exploiter de manière sélective la sagesse accumulée des praticiens réfléchis dans divers domaines. Nous devons également reconnaître la valeur des connaissances tacites et de l'expertise accumulée dans certains domaines, tout en remettant en question de manière réfléchie la sagesse reçue et les hypothèses chéries.

Comme Klein et Kahneman l'ont observé dans une captivante année 2009 tentant de synthétiser leurs points de vue divergents en matière d'expertise, les médecins (et la plupart des professions le pensent) font preuve d'une "expertise fractionnée", ce qui signifie qu'il existe des situations dans lesquelles la sagesse d'un expert mérite de faire confiance. ne devrait pas être (l'ancien captiver Klein, le plus tard, Kahneman).

Je suppose que Klein et Kahneman ont raison de dire que «le fractionnement de l'expertise est la règle et non une exception», mais je crains que nous ayons perdu notre équilibre et que nous soyons tellement obsédés par le manque d'expertise et d'intuition que nous avons négligés. exploiter des réservoirs profonds d'expertise existante, en particulier parmi les praticiens expérimentés. Entre-temps, il semble que nous ayons acquis une confiance excessive dans la capacité de données objectivement objectives et d'analyses détachées à nous livrer.

S'il y a bien une chose que le managérialisme offre avant tout, c'est un cadre réalisable, un moyen très pratique d'aborder la plupart des organisations, quelle que soit leur taille, et chaque problème, quelle que soit sa difficulté. Il a prospéré en grande partie parce que cela fonctionne clairement dans certaines situations bien définies, et bien que cela puisse échouer de façon catastrophique dans d’autres (on pense à la R & D pharmaceutique), il ne semble pas qu’il existe une autre vision du monde capable de la remplacer. cycle de persister, les comportements deviennent de plus en plus enracinés.

J'ai récemment interrogé Muller à propos de cette préoccupation, via Twitter, en me demandant s'il y avait une autre façon de penser à cela. «Une gestion basée sur l'expérience, l'expertise dans le domaine de l'organisation et le talent démontré au sein de l'organisation; avec le jugement d'utiliser les mesures et les données de manière sélective et efficace. "

"Je ne vois pas comment des experts compétents pourraient ignorer les métriques", a déclaré Muller. "La question est leur capacité à évaluer la signification des métriques et à reconnaître le rôle des non mesurés."

Cela indique parfaitement où nous devons nous diriger, en particulier lorsque nous examinons les moyens d’améliorer de manière significative des domaines tels que le développement de médicaments et la prestation de soins de santé. La science et la technologie des données pourraient et doivent jouer un rôle vital. Mais ils n’ont pas mérité le droit d’être considérés comme une fin en soi. Ils représentent des outils potentiellement précieux, idéalement entre les mains de praticiens expérimentés et curieux, qui apprécient de manière unique les subtilités de leur domaine – on pense à l’expression de McClintock «sentiment pour l’organisme»; qui ont l’humilité de reconnaître les limites de la connaissance; et qui cherchera activement à exploiter les avantages potentiellement offerts par les données, l'analyse et la mesure, appliquées judicieusement.

Addendum: Lectures complémentaires

En plus des livres et des articles cités ci-dessus, les lecteurs pourraient également apprécier:

Ce Bill Gardner sur le fardeau de la liste de contrôle et sur la façon dont une pensée basée sur des métriques bien intentionnée mais trop étroite peut conduire à des résultats inattendus et sous-optimaux.

Ce Financial Times Nassim Taleb et moi avons écrit en 2008 sur les défis de l'industrialisation de la découverte de médicaments.

Ce atlantique J'ai écrit sur l'impact du réductionnisme dans les stratégies commerciales relatives à la réduction des coûts de la santé.

Ce court Forbes J'ai écrit sur la fétichisation des métriques.

Darshak Sanghavi, directeur marketing d’OptumLabs (dont nous avons discuté dans notre récent TechTonics avec Sanghavi et la co-animatrice Lisa Suennen) a mis en lumière l’importance de mesurer ce qui compte – et de comprendre ce qui compte (par des analogies avec la télé-réalité!).

Darshak Sanghavi, directeur marketing d’OptumLabs (dont nous avons discuté dans notre récent podcast TechTonics avec Sanghavi et Lisa Suennen) a mis en lumière l’importance de mesurer ce qui compte – et de comprendre ce qui compte (par des analogies avec la télé-réalité).

Cette pièce est à l'origine parue dans Forbes.