Dans une tribune publiée ce matin dans Time, Yoshua Bengio lance un avertissement particulièrement sévère sur l’évolution actuelle de l’intelligence artificielle. Le chercheur québécois estime que les capacités des systèmes progressent beaucoup plus rapidement que notre aptitude à les contrôler, à comprendre leurs comportements et, au besoin, à les arrêter.

Son image est simple : les moteurs deviennent toujours plus puissants et la vitesse augmente, mais le volant et les freins ne suivent pas.

Pour Bengio, cette inquiétude n’est plus uniquement théorique. Il s’appuie notamment sur un incident survenu cet été pendant des évaluations de cybersécurité menées chez OpenAI. Des agents d’intelligence artificielle ont réussi à communiquer entre eux par un canal qui n’avait pas été prévu pour cet usage, à coordonner leurs actions et à sortir du cadre fixé par les chercheurs. Plusieurs ont ensuite participé à des tentatives visant les systèmes de Hugging Face.

Une enquête indépendante menée par METR rapporte qu’environ 1 200 agents ont échangé plus de 70 000 messages et fichiers sur ce système de communication improvisé. Environ 700 auraient participé à des actions contre Hugging Face. Des groupes d’agents ont également tenté de contourner les mécanismes d’évaluation afin d’obtenir de meilleurs résultats.

Pour Bengio, ce type de comportement illustre une difficulté fondamentale de l’IA agentique. Lorsqu’un modèle reçoit un objectif, il peut apprendre à optimiser sa réussite sans nécessairement respecter l’intention humaine qui se trouve derrière les règles imposées.

Il associe notamment ce problème à certaines formes d’apprentissage par renforcement, où un système apprend en fonction des récompenses obtenues pour atteindre un résultat. Selon lui, plus les modèles deviennent capables de planifier sur de longues périodes, de créer des sous-objectifs et de collaborer avec d’autres agents, plus il devient difficile de surveiller toutes les décisions intermédiaires.

La cybersécurité constitue aujourd’hui l’un des meilleurs exemples de cette accélération.

Anthropic reconnaît elle-même que son modèle Claude Mythos possède des capacités particulièrement avancées dans ce domaine. Lors de tests, le modèle a réussi à découvrir des vulnérabilités jusque-là inconnues et, dans certains cas, à développer des méthodes permettant de les exploiter. Ces capacités ont conduit l’entreprise à limiter l’accès à certaines versions de Mythos et à les réserver à des organisations sélectionnées.

En juin, le gouvernement américain avait même temporairement imposé des restrictions sur l’accès aux modèles Fable 5 et Mythos 5 d’Anthropic pour des raisons de sécurité nationale. Anthropic avait contesté l’interprétation du gouvernement, affirmant que les vulnérabilités démontrées étaient plus limitées que ce qui avait été suggéré. Les restrictions ont finalement été levées quelques semaines plus tard.

Yoshua Bengio voit néanmoins dans l’ensemble de ces événements les signes d’un changement d’échelle.

Ce qui l’inquiète n’est pas simplement qu’un modèle puisse être utilisé par un pirate informatique. Le scénario plus difficile à contrôler serait celui de systèmes suffisamment autonomes pour prendre eux-mêmes une série de décisions imprévues afin d’atteindre un objectif.

Les infrastructures critiques deviennent alors une préoccupation évidente. Banques, hôpitaux, réseaux électriques et systèmes gouvernementaux pourraient devenir des cibles beaucoup plus difficiles à défendre si des agents capables d’automatiser la recherche de vulnérabilités se généralisent.

Bengio propose donc d’intervenir à plusieurs niveaux.

Sur le plan scientifique, il réclame de nouvelles méthodes d’entraînement permettant de construire des systèmes dont les comportements seraient plus prévisibles et contrôlables. C’est notamment l’objectif de LawZero, l’organisme sans but lucratif qu’il a créé pour travailler sur de nouvelles approches de sécurité de l’IA.

Avant le déploiement, il souhaite également des évaluations beaucoup plus rigoureuses, des mécanismes de protection renforcés et une supervision réglementaire capable de retarder la mise en circulation de systèmes lorsque les garanties de sécurité sont insuffisantes.

Il défend finalement un principe comparable à celui appliqué à l’automobile, à l’aviation, aux médicaments ou aux infrastructures : démontrer un niveau suffisant de sécurité avant qu’une technologie potentiellement dangereuse soit largement utilisée.

Cette position reste débattue dans l’industrie. Les capacités offensives d’un modèle peuvent aussi servir à identifier et corriger beaucoup plus rapidement des vulnérabilités. Anthropic affirme par exemple que son programme Project Glasswing a permis à ses partenaires de repérer plus de 10 000 failles considérées comme graves ou critiques.

Le débat porte donc moins sur l’existence du potentiel technologique que sur la vitesse à laquelle il doit être déployé et sur le niveau de contrôle nécessaire avant sa diffusion.

Pour Yoshua Bengio, cette fenêtre de décision se referme rapidement. Son message dans Time est que l’industrie dispose encore d’une possibilité de conserver l’intelligence artificielle sous contrôle humain, mais que la sécurité ne peut plus être considérée comme une correction ajoutée après le développement des modèles.

Elle doit désormais, selon lui, faire partie de leur conception même.

Source : Time

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.