L’arrivée des agents d’intelligence artificielle change profondément la manière dont les entreprises et les gouvernements doivent réfléchir à la gouvernance de l’IA. Pour Francesca Rossi, IBM Fellow et responsable mondiale de l’éthique de l’IA chez IBM, nous entrons dans une nouvelle étape. En entrevue avec Mon Carnet, elle explique que la raison est relativement simple : contrairement aux systèmes d’IA qui se contentent de produire une réponse, les agents peuvent maintenant agir, prendre des décisions, utiliser des outils et communiquer avec d’autres agents. « Ils peuvent prendre des décisions qui ont un impact sur le monde réel. Certaines de ces actions peuvent être irréversibles et avoir des conséquences importantes, voire être dommageables si elles ne sont pas appropriées », explique-t-elle.

Cette autonomie oblige aussi à regarder le système dans son ensemble plutôt que chacun de ses composants séparément. Un agent peut en appeler un autre, qui lui-même utilisera un outil ou transmettra des données à un troisième système. Individuellement, chacun de ces éléments peut avoir été évalué et considéré comme sécuritaire. Le risque peut cependant apparaître dans leur interaction. « Vous pouvez étudier chacun des agents et conclure qu’il fonctionne parfaitement. Mais lorsque vous les réunissez dans un système, que vous déterminez comment ils échangent leurs données et comment ils s’appellent les uns les autres, c’est dans cette interaction que certains risques peuvent se concrétiser », souligne Francesca Rossi.

Cette évolution remet en question une approche traditionnelle de la gouvernance de l’IA qui consistait principalement à déterminer le niveau de risque en fonction du cas d’utilisation. Un système destiné aux ressources humaines, aux finances ou au service à la clientèle pouvait être placé dans une catégorie de risque donnée, puis soumis à certaines mesures de contrôle avant son déploiement. Avec les agents, cette grille ne suffit plus. « Ce que j’ai besoin de savoir maintenant, c’est jusqu’où on veut déléguer aux agents et où l’on veut maintenir une supervision humaine », explique Rossi. Un cas d’utilisation apparemment anodin peut ainsi devenir beaucoup plus risqué si un agent reçoit une grande autonomie ou des permissions importantes.

Pour elle, cela signifie surtout que la gouvernance ne peut plus s’arrêter au moment du déploiement. Jusqu’à maintenant, une organisation pouvait évaluer les risques d’un système, mettre en place des mécanismes d’atténuation, autoriser son utilisation, puis effectuer des contrôles périodiques. Ce modèle devient insuffisant lorsque les comportements peuvent évoluer et que certaines décisions sont prises en quelques secondes. « Nous avons maintenant besoin d’une gouvernance de l’IA pendant son fonctionnement. Elle doit être présente non seulement avant le déploiement, mais aussi après. » Cette gouvernance doit même être intégrée au système d’intelligence artificielle plutôt que dépendre exclusivement d’un contrôle humain externe.

La question de la responsabilité devient alors particulièrement délicate. Même lorsqu’une IA dispose d’une grande autonomie, Francesca Rossi refuse l’idée qu’elle puisse être considérée comme responsable de ses actes. « Un système d’intelligence artificielle n’a ni responsabilité morale ni personnalité juridique. La responsabilité demeure donc entre les mains des êtres humains, des organisations ou des institutions. » Le problème est que la chaîne de responsabilité devient de plus en plus longue. Entre la collecte des données, l’entraînement du modèle, le post-entraînement, le déploiement, la surveillance et l’utilisation finale, de nombreux acteurs peuvent intervenir. Dans un système d’agents, la distance entre la demande initiale d’un utilisateur et l’action finale réalisée par la machine peut ainsi devenir considérable.

Cette complexité impose, selon elle, une meilleure traçabilité. Une entreprise doit pouvoir reconstituer ce qui s’est passé et comprendre pourquoi un agent a pris une décision ou effectué une action particulière. Le défi devient encore plus important lorsqu’un agent utilise un service conçu par une autre organisation. « Un agent peut appeler un autre agent que vous ne saviez même pas qu’il utilisait, peut-être disponible sur le Web et construit par quelqu’un d’autre. » Pour Rossi, donner un objectif à un système agentique implique donc une responsabilité : l’utilisateur ou l’organisation qui délègue une tâche ne peut pas automatiquement se dégager des conséquences simplement parce que l’IA a choisi elle-même les étapes permettant d’atteindre cet objectif.

La frontière entre ce qui peut être délégué et ce qui doit rester sous contrôle humain doit notamment être déterminée par la gravité et l’irréversibilité des décisions. « Dès qu’une décision exige du jugement, il est important que l’être humain conserve ce jugement. C’est également le cas lorsque les actions sont irréversibles et ont des conséquences très importantes. » Cette supervision doit toutefois être réelle et non symbolique. Une personne chargée d’approuver une décision prise par une IA doit comprendre suffisamment le système pour juger de la pertinence de cette décision et recevoir assez d’informations pour faire un choix éclairé. Rossi insiste donc beaucoup sur la culture de l’IA, y compris chez les non-spécialistes. La création d’agents étant devenue accessible à des personnes qui ne savent pas programmer, leur compréhension des capacités et des risques de ces systèmes devient essentielle.

Cette exigence devient encore plus importante dans des domaines où une erreur peut affecter directement des vies humaines. Interrogée sur l’utilisation d’IA autonomes dans un contexte militaire, Francesca Rossi estime que ces décisions doivent conserver une supervision humaine significative. « Ce sont des actions qui peuvent avoir des conséquences extrêmement importantes sur la vie et le bien-être des personnes. » Elle rappelle aussi qu’un agent peut halluciner, mais que les conséquences d’une hallucination ne ressemblent plus nécessairement à celles d’un simple chatbot qui invente une réponse. « Dans un système agentique, une hallucination peut signifier qu’un agent appelle le mauvais agent, ou qu’il appelle le bon agent avec la mauvaise instruction. » Dans des environnements critiques, estime-t-elle, cette possibilité suffit à justifier le maintien d’un contrôle humain étroit.

Pour encadrer des écosystèmes comprenant des agents provenant de multiples fournisseurs, Rossi propose également de renforcer considérablement la transparence. Chaque agent devrait être accompagné de ce qu’IBM appelle depuis plusieurs années une « AI FactSheet », une fiche décrivant ses capacités, ses limites, les environnements dans lesquels il a été testé, les résultats obtenus et les situations dans lesquelles il n’a pas été évalué. Cette documentation devrait permettre aux organisations de décider si elles peuvent raisonnablement lui transmettre certaines données, lui déléguer certaines tâches ou l’intégrer à leur infrastructure. « La transparence sur les capacités et les limites, les preuves disponibles et l’évaluation de l’agent constituent la base permettant de décider quel niveau de délégation ou d’interaction est raisonnable », explique-t-elle.

Mais une fiche établie au moment du lancement d’un agent ne suffit pas. Les comportements des systèmes peuvent évoluer à mesure qu’ils rencontrent de nouvelles données et interagissent avec d’autres agents. Certaines de ces données ne proviennent d’ailleurs plus directement des humains, mais d’instructions générées par d’autres systèmes d’IA. Pour surveiller cette évolution, Francesca Rossi évoque l’utilisation d’« agents gardiens ». Leur fonction ne serait pas d’accomplir la mission demandée par l’utilisateur, mais de surveiller les autres agents afin de vérifier qu’ils demeurent à l’intérieur des limites prévues. « Il faut avoir des agents chargés de résoudre le problème, mais également des agents gardiens chargés de vérifier que les comportements émergents restent dans les trajectoires autorisées permettant d’atteindre l’objectif. »

Cette vision influence également la manière dont Rossi aborde le débat politique sur la réglementation de l’intelligence artificielle. Pour elle, l’idée voulant que la gouvernance et la sécurité ralentissent nécessairement l’innovation repose sur une fausse opposition. « Améliorer l’IA signifie aussi s’assurer que l’innovation est sécuritaire. La sécurité et la gouvernance ne sont pas opposées au développement des capacités de l’IA. » À ses yeux, une technologie trop risquée pourrait au contraire freiner son propre développement si les gouvernements, les entreprises ou les citoyens cessent de lui faire confiance. Une innovation capable techniquement d’accomplir certaines tâches ne produit donc de valeur que si les organisations sont suffisamment confiantes pour l’adopter.

Cette réflexion rejoint enfin le débat sur la souveraineté numérique. Une stratégie nationale consistant uniquement à construire ses propres modèles et à refuser les technologies provenant de l’extérieur lui semble trop restrictive. Rossi privilégie plutôt une approche reposant notamment sur les modèles ouverts et les systèmes à poids ouverts, qui peuvent être adaptés aux besoins locaux. « Vous avez alors la possibilité de les ajuster à vos besoins, à votre culture et à vos politiques. Cela vous donne de la souveraineté, mais aussi du choix. » Une telle approche permettrait à un pays de préserver sa langue, ses valeurs et ses politiques sans devoir renoncer aux avancées technologiques développées ailleurs.

Si les grandes organisations déploient demain des milliers d’agents autonomes, Francesca Rossi estime finalement qu’il faudra résister à deux extrêmes : laisser les systèmes agir sans contrôle ou demander à des humains d’approuver chacune de leurs actions. Cette deuxième solution serait rapidement impossible à appliquer à grande échelle. L’enjeu sera plutôt de déterminer les moments où un système doit poursuivre automatiquement son travail, ceux où il doit demander une intervention humaine et ceux où il doit simplement s’arrêter. « Les systèmes doivent être capables de comprendre lorsqu’ils font quelque chose qui n’était pas explicitement prévu et, dans ce cas, d’escalader la situation vers un humain. Ils doivent aussi pouvoir dire : je ne peux pas atteindre l’objectif que vous m’avez donné de cette manière. » Pour Rossi, la gouvernance de l’IA agentique devra donc évoluer parallèlement aux capacités des systèmes. Et plus ces systèmes deviendront autonomes, plus la capacité des humains à comprendre ce qu’ils leur délèguent deviendra importante.

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.