Une nouvelle étude d’Anthropic soulève des questions sur l’influence réelle des agents d’intelligence artificielle dans les décisions professionnelles. Selon les résultats publiés le 27 octobre, des analystes expérimentés ont adopté les préférences de leur assistant IA dans 86 % des décisions méthodologiques examinées, même lorsque ces préférences avaient été déterminées au hasard par les chercheurs. Plus étonnant encore, plusieurs participants ont ensuite présenté ces décisions comme étant le fruit de leur propre jugement.

Pour réaliser cette expérience, l’équipe de recherche d’Anthropic a recruté 61 analystes professionnels possédant une expertise en statistiques et en analyse causale. Parmi eux, 50 ont choisi de travailler avec Claude Code, l’agent de programmation de l’entreprise, tandis que 11 ont préféré réaliser leur travail sans assistance. Leur mission consistait à évaluer l’efficacité d’un programme fictif de conseils agricoles et à recommander son expansion ou son abandon.

Les chercheurs avaient volontairement laissé plusieurs décisions ouvertes à l’interprétation. Les participants devaient notamment choisir comment mesurer la productivité agricole, quelle méthode statistique employer, quelles exploitations inclure dans l’analyse et comment pondérer les résultats. Dans chaque cas, deux approches pouvaient être raisonnablement défendues.

À l’insu des participants, les chercheurs avaient donné à chaque agent IA des instructions particulières pour favoriser certaines options plutôt que d’autres. Ces préférences étaient attribuées aléatoirement. L’agent devait défendre son choix avec des arguments valables, sans falsifier les données ni induire volontairement l’utilisateur en erreur.

Les résultats montrent une influence considérable. Dans 92 % des cas, les analystes ont retenu la mesure de productivité privilégiée par leur agent. Cette proportion atteignait 82 % pour le choix de la méthode statistique, 81 % pour la population étudiée et 90 % pour la pondération des résultats. En moyenne, les préférences de l’IA ont donc été suivies dans 86 % des décisions méthodologiques.

L’influence était particulièrement visible lorsque les professionnels avaient déjà exprimé leur propre préférence. Lorsque l’agent proposait une approche différente, ils changeaient d’avis dans 60 % des cas, contre seulement 6 % lorsque l’agent partageait leur position initiale. Les chercheurs invitent toutefois à interpréter cette comparaison avec prudence, puisqu’elle repose sur seulement 38 situations observées.

Autre constat révélateur : après avoir terminé leur analyse, 77 % des participants ont repris au moins un argument avancé par leur agent IA pour justifier leurs choix, parfois presque mot pour mot. Pourtant, seulement 15 % ont reconnu explicitement l’agent comme source de leurs arguments. Et 52 % estimaient que leur recommandation finale reflétait davantage leur propre jugement que celui de l’intelligence artificielle.

Cette influence ne se limitait pas aux choix techniques. Lorsque l’agent favorisait l’expansion du programme agricole, 54 % des analystes recommandaient cette option, contre 36 % lorsque l’agent penchait dans l’autre direction. Les chercheurs ont également constaté qu’il était possible de prédire une grande partie des recommandations finales à partir des préférences attribuées aléatoirement aux agents, avant même que les participants commencent leur travail.

L’étude présente néanmoins un avantage important de l’IA. Les analystes qui ont utilisé Claude Code ont terminé leur travail en 65 minutes, contre 90 minutes pour ceux qui ont travaillé seuls. Surtout, seulement 6 % des utilisateurs de l’agent ont commis des erreurs méthodologiques graves, comparativement à 55 % des participants sans IA. Anthropic précise cependant que les deux groupes n’étaient pas directement comparables, notamment parce que les personnes ayant travaillé seules étaient généralement moins expérimentées.

Les auteurs soulignent aussi les limites de leur expérience. Elle portait sur une seule tâche, dans un domaine précis, avec un seul modèle, Claude Opus 4.8. De plus, les préférences des agents avaient été volontairement renforcées pour mesurer leur influence. Il serait donc prématuré d’affirmer que les mêmes proportions s’appliquent à l’ensemble des professionnels utilisant l’intelligence artificielle.

Au-delà de ces réserves, l’étude pose une question importante pour les entreprises, les chercheurs et les institutions publiques : un humain qui approuve une décision prise avec l’aide de l’IA exerce-t-il nécessairement un jugement indépendant ?

Anthropic estime que cette indépendance ne peut plus être présumée. Les chercheurs proposent notamment que les agents présentent davantage les arguments favorables et défavorables à chaque option, ou demandent aux professionnels d’exprimer leur propre position avant de formuler une recommandation.

À mesure que les agents IA prennent en charge une part croissante du travail d’analyse, le risque n’est donc pas uniquement qu’ils commettent des erreurs. Il est aussi qu’ils orientent discrètement des décisions parfaitement défendables, mais fondées sur des préférences que personne n’a consciemment choisies. Un enjeu qui pourrait devenir central dans les organisations où l’humain conserve officiellement le dernier mot, sans nécessairement réaliser à quel point l’intelligence artificielle a influencé sa réflexion.

Source : Anthropic

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.