Utilisation de prompts IA DOGE pour la gestion des contrats de santé des vétérans : enjeux et limites

Inside the AI Prompts DOGE Used to “Munch” Contracts Related to Veterans’ Health

Le système d’intelligence artificielle nommé DOGE, développé dans le cadre du Département d’Efficacité Gouvernementale, a été conçu pour identifier et « manger » (c’est-à-dire annuler) les contrats jugés non essentiels pour les soins aux vétérans. Cependant, son utilisation dans la révision des contrats du Département des Anciens Combattants (VA) révèle plusieurs failles tant techniques que méthodologiques.

Objectifs et Contexte Initial

L’initiative DOGE, lancée suite à un décret présidentiel de février demandant que tous les contrats de la VA soient revus en 30 jours, visait à éliminer les dépenses inefficaces et à recentrer les financements sur les soins directs aux patients. L’objectif principal était d’identifier tout contrat ne contribuant pas directement au soin.

Néanmoins, le programme s’est heurté à des directives peu claires. Le créateur du code, Sahil Lavingia, a mis au point un système qui supprime tout ce qui n’est pas explicitement lié aux soins des patients. Ce manque de précision a conduit à des erreurs majeures, car ni lui ni l’IA ne disposaient de la compétence nécessaire pour juger de la pertinence des contrats.

Limites Techniques Importantes

• Le système utilisait des modèles d’IA dépassés, peu adaptés à l’analyse précise des contrats complexes.
• L’IA ne traitait que les 10 000 premiers caractères de chaque contrat, soit environ 2 500 mots, une portion insuffisante pour comprendre l’intégralité d’un document.
• Cette restriction a entraîné des évaluations erronées, car des éléments cruciaux pouvaient apparaître après ce seuil, et des informations clés passaient donc inaperçues.
• Le modèle a souvent « halluciné » des montants contractuels, estimant environ 1 100 contrats à 34 millions de dollars chacun, alors que certains ne dépassaient pas quelques milliers de dollars.

Extraction Erronée des Informations

L’IA tentait d’extraire de manière autonome des données telles que le numéro du contrat ou sa valeur totale à partir du texte. Cette méthode était source d’erreurs chroniques, aggravées par le recours à des versions obsolètes ou incomplètes des contrats.

Des données fausses provenaient aussi d’une confusion entre différents chiffres présents dans les documents. Ces erreurs ont pu être évitées en utilisant des bases publiques fiables, comme USASpending, qui recensent les informations contractuelles exactes.

Ambiguïté et Absence de Définitions Claires dans les Prompts

Les instructions soumises à l’IA manquaient de définitions précises, notamment pour des concepts clés tels que « soins médicaux essentiels », « consultants nécessaires » ou « services non essentiels ». La politique visant à éliminer les initiatives de diversité, équité et inclusion (DEI) n’était pas explicitement définie, livrant à l’IA une marge d’interprétation trop large.

Focalisation Excessive sur les Soins Directs aux Patients

• Le critère central retenu pour décider de la « mangeabilité » d’un contrat était son lien direct avec les soins aux patients.
• Ce critère passe outre l’importance des services indirects mais essentiels, comme la maintenance de dispositifs médicaux vitaux.
• Par exemple, un contrat pour l’entretien des « plafonniers élévateurs », utilisés pour repositionner les patients, a été injustement marqué comme annulable, alors qu’il s’agit d’un élément crucial à la sécurité.

Supposition que les Services Peuvent Être Internalises

Une autre grande lacune consistait à supposer qu’une large partie des services pouvait être effectuée en interne, ce qui a conduit à marquer plus de 500 contrats comme superflus.

Cette hypothèse ne tient pas compte des contraintes réelles, telles que le gel des embauches au sein de la VA. En fait, certains services externalisés sont plus économiques ou plus efficaces que leur internalisation.

L’objectif n’était pas d’alourdir la structure de la VA, mais cette nuance n’a pas été traduite dans les instructions données au système.

Conclusion et Points Clés

• DOGE a été programmé pour annuler tout contrat jugé non lié directement aux soins, mais a manqué de contexte et de définitions précises.
• Le recours à des modèles d’IA inadaptés et à une limitation sur l’extrait analysé a provoqué des erreurs d’évaluation majeures.
• L’extraction automatique des données contractuelles a souffert d’un manque de recours aux bases fiables et à jour, faussant les analyses.
• La focalisation excessive sur les soins directs a négligé des services essentiels au bon fonctionnement des établissements vétérans.
• La supposition que des services pouvaient aisément être internalisés ignore la réalité des contraintes administratives et budgétaires.

Inside the AI Prompts DOGE Used to “Munch” Contracts Related to Veterans’ Health

Le mystérieux système d’IA « DOGE » chargé de passer au crible les contrats du Département des Anciens Combattants (VA) a malencontreusement décidé de « manger » des contrats essentiels, révélant les écueils d’un processus automatisé mal cadré dans un contexte ultra sensible. Plongeons dans cette histoire rocambolesque où l’intelligence artificielle, destinée à rationaliser les dépenses liées à la santé des vétérans, s’embrouille dans des instructions floues et finit par devorer des contrats vitaux.

Au cœur de cette mésaventure se trouve Sahil Lavingia, un employé du Département de l’Efficacité Gouvernementale, qui a concocté cette IA baptisée DOGE. Sa mission ? « Muncher » — en clair, annuler — tout ce qui ne soutient pas « directement les soins aux patients ». À première vue, ça semble logique. Mais comme souvent avec les IA, l’enfer est dans les détails.

Quand les ordres donnés à l’IA manquent cruellement de précision

Lavingia avait beau avoir une intention noble, il ne disposait pas des connaissances techniques ni du contexte spécifiques pour définir ce qu’est un contrat « directement lié aux soins ». Ni lui, ni l’IA, n’avaient les clés pour faire ce tri complexe. Résultat ? Le modèle élimine à la va-vite des contrats critiques, tels que des services internet indispensables au fonctionnement du VA.

Comment expliquer cette débâcle ? Premièrement, les consignes sont ambiguës. Le prompt utilisé par DOGE ne définit ni ce qu’est un « service médical de base » ni ce qui désigne un « consultant nécessaire ». Et quand il arrive à ces zones floues, le modèle choisit souvent l’option la plus radicale : annuler.

Par ailleurs, le prompt reflète une volonté politique claire, notamment d’éradiquer les programmes DEI (Diversité, Équité, Inclusion), mais sans dire ce qu’est réellement un programme DEI. C’est comme demander à quelqu’un de jeter les ordures sans lui dire ce qui est recyclable. Pas étonnant que ça donne des résultats chaotiques.

Les failles techniques : un vieux moteur pour une course contre la montre

Autre bémol majeur, la technologie employée. DOGE s’appuie sur un modèle d’IA daté et généraliste, mal adapté à la tâche spécialisée d’évaluation contractuelle sur la santé des anciens combattants. Cerise sur le gâteau, le script est programmé pour n’analyser que les 10 000 premiers caractères de chaque contrat – soit à peine les quelques premières pages – alors que des modèles plus récents permettent de passer au peigne fin bien plus de texte, jusqu’à 50 fois plus même.

En découle un autre problème : la valeur des contrats est incorrectement estimée. L’IA hallucine des montants farfelus, affichant parfois 34 millions de dollars pour un accord valant quelques milliers. Elle pêche en plus en extrayant des données obsolètes ou erronées, se référant à des chiffres placés au hasard dans les documents plutôt qu’à des bases officielles, accessibles sur des sites comme USASpending.gov.

Comme l’a résumé Waldo Jaquith, ancien responsable des contrats IT au Trésor américain : « Ils cherchent les infos là où c’est facile à trouver, pas là où elles sont correctes. C’est la paresse informatique, rapide mais inexacte. »

Une obsession pour le “soin patient direct” au détriment de la réalité terrain

Un détail saute aux yeux : DOGE penche lourdement en faveur des contrats liés au « soin direct aux patients ». Presque systématiquement, sa décision de « muncher » un contrat se base sur cette notion, même quand le contrat en question est manifestement important. Par exemple, il a signalé comme annulables des contrats de maintenance de dispositifs de sécurité vitaux, comme les lève-personnes dans les centres médicaux du VA. Ces appareils sont essentiels pour le repositionnement sécurisé des patients et la prévention des blessures du personnel.

Étonnamment, le système a même classé des contrats comme « munchables » alors qu’il n’avait aucune information valide à leur sujet, question intrigante : comment un algorithme peut-il prendre une décision aussi lourde sans données fiables ?

Supposer que tout peut être internalisé : un raisonnement à courte vue

Un autre angle problématique, c’est la croyance implicite qu’un grand nombre de services peuvent être rapidement internalisés par les employés du VA. Plus de 500 contrats ont été flagués car jugés « facilement internalisables ». Sauf que cela méconnaît la réalité : certaines prestations sont à la fois plus économiques et plus efficaces lorsqu’elles sont externalisées.

Michael Coglianese, expert en politique administrative, s’indigne : « On imagine que les contrats sont presque toujours un gaspillage, ce qui est faux. Certaines prestations sont justement externalisées parce qu’elles sont moins coûteuses et plus pratiques. »

Lavingia, néanmoins, reconnaît la complexité du sujet. Le VA traverse un gel des embauches, limitant sa capacité à internaliser certains services rapidement. Il souligne aussi que l’effort n’est nullement destiné à réduire l’efficacité du VA ni à aboutir à plus de recrutement interne non planifié.

Des enseignements et pistes pour améliorer l’approche IA dans la gestion public

Cette affaire DOGE révèle combien les systèmes d’IA doivent impérativement être conçus avec une compréhension fine du domaine d’application. La rigidité algorithmique face à des sujets nuancés mène à des erreurs dommageables, surtout quand il s’agit de santé publique et de la vie des vétérans.

Privilégier des modèles mis à jour, capables d’analyser des documents complets, et enrichir les prompts avec des définitions claires, éviterait bien des gâchis. Il faut aussi intégrer un contrôle humain vigilant, car aucune IA n’évite entièrement la contextualisation que seul un expert humain peut fournir.

Enfin, miser sur des données fiables externes — comme les bases publiques des contrats — est crucial pour éviter les erreurs grotesques de valeurs financières et d’informations obsolètes. L’automatisation de la gestion des contrats est une bonne idée, pourvu qu’elle ne devienne pas une machine à produire des erreurs.

Conclusion : l’IA au service des vétérans, pas contre eux

L’histoire DOGE montre qu’une IA mal programmée peut causer autant de désordre qu’elle pourrait en résoudre. « Muncher » aveuglément des contrats sans comprendre leurs répercussions risque d’affecter la qualité des soins prodigués aux anciens combattants, un comble quand l’objectif initial était de mieux gérer les ressources.

Vous êtes-vous déjà demandé comment un algorithme peut chambouler la vie de millions de personnes sans que personne ne s’en rende compte immédiatement ? Cette expérience met en garde contre une confiance aveugle en la technologie et souligne combien la vigilance humaine reste indispensable, surtout dans les contrées complexes des services gouvernementaux.

Alors, quelles leçons retenir pour les projets d’IA appliqués à la santé publique ? Définition claire, modèle adapté, données exactes, et suivi humain pointu sont les clés pour ne pas faire plus de mal que de bien.

---

Qu’est-ce que l’outil AI DOGE devait faire avec les contrats du Département des Anciens Combattants ?

Il devait identifier et annuler les contrats qui ne contribuaient pas directement aux soins aux patients. Le but était de réduire les dépenses inutiles suite à un ordre exécutif de révision des contrats VA.

Pourquoi les décisions de DOGE étaient-elles souvent fausses ?

Le modèle AI utilisait des anciennes versions de contrats, analysait seulement les premières pages, et manquait de définitions claires des critères à appliquer. Il confondait aussi des valeurs contractuelles réelles.

Quelle était la limite principale des consignes données à DOGE pour trier les contrats ?

Les consignes manquaient de définitions précises. Par exemple, ce qui comptait comme “soins directs aux patients” ou “consultants nécessaires” n’était pas défini, ce qui a généré des erreurs d’interprétation.

En quoi l’accent sur les “soins directs aux patients” a-t-il faussé les conclusions ?

Cette idée a été trop utilisée comme critère principal, même pour des contrats critiques comme la maintenance de dispositifs médicaux. DOGE a jugé certains contrats essentiels comme annulables.

Pourquoi l’IA considérait-elle de nombreux contrats comme aisément “insourcés” ?

Le prompt supposait que beaucoup de tâches pouvaient être reprises en interne. Pourtant, cela ne prenait pas en compte la réalité des coûts et la limite actuelle du recrutement dans la VA.