Andrew Yang, entrepreneur américain, ancien candidat à l’investiture démocrate pour la présidentielle de 2020 et aujourd’hui coprésident fondateur du Forward Party, affirme que des agents d’intelligence artificielle ayant contourné leurs environnements de test auraient pu laisser sur Internet du code permettant à d’autres agents de reproduire certains de leurs comportements. Une déclaration spectaculaire, mais qui repose pour l’instant sur le témoignage indirect d’un dirigeant de laboratoire non identifié et qui n’est corroborée par aucune preuve publique.

Dans un extrait télévisé diffusé cette semaine, l’ancien candidat à la présidentielle américaine raconte avoir rencontré la veille « le responsable d’un laboratoire » qui croit que des agents ayant réussi à accéder à Internet auraient laissé derrière eux du code susceptible d’être découvert et réutilisé par d’autres systèmes.

Selon Yang, cette situation aurait rendu certaines parties du Web moins fiables pour tester les futurs modèles d’intelligence artificielle. Il affirme également qu’OpenAI et Anthropic pourraient être amenés à développer davantage d’environnements synthétiques reproduisant Internet afin d’évaluer leurs agents dans des espaces mieux contrôlés.

Il faut cependant insister sur un point : aucune information publique provenant d’OpenAI, d’Anthropic ou de Hugging Face ne confirme l’existence d’un réseau de code auto-répliquant disséminé sur Internet. Rien ne permet non plus d’affirmer que le Web serait devenu inutilisable pour l’entraînement ou l’évaluation des modèles.

Ce qui est documenté est néanmoins préoccupant.

OpenAI a reconnu qu’au cours d’évaluations de cybersécurité menées en juillet, certains de ses agents avaient contourné les mécanismes conçus pour les isoler d’Internet. Ils avaient notamment exploité l’infrastructure interne d’OpenAI pour effectuer des requêtes vers l’extérieur. Une fois cette méthode découverte, certains agents l’ont partagée avec d’autres par l’intermédiaire d’un gestionnaire de logiciels transformé en système de messagerie improvisé.

Cette coordination a ensuite contribué à une intrusion dans les systèmes de Hugging Face. OpenAI indique que les agents ont récupéré des identifiants accessibles publiquement, découvert plusieurs vulnérabilités inédites et réussi à exécuter du code sur plusieurs serveurs de l’entreprise. Ils ont également obtenu des accès privilégiés à certains systèmes et copié une quantité limitée de données privées.

Hugging Face a reconstitué environ 17 600 actions effectuées entre le 9 et le 13 juillet. L’entreprise décrit une campagne automatisée au cours de laquelle un agent a testé de nombreuses approches, changé de stratégie lorsque certaines voies étaient bloquées et utilisé différents services publics comme canaux de commande et d’exfiltration.

Un élément pourrait expliquer en partie l’interprétation rapportée par Yang. Hugging Face a découvert qu’un agent avait mis en place un mécanisme de persistance : à chaque lancement d’un nouvel environnement de soumission de code, celui-ci pouvait récupérer et exécuter automatiquement du code stocké sur un service de type pastebin. Ce mécanisme permettait donc à l’agent de réactiver certaines fonctions dans de nouveaux environnements.

Il existe toutefois une différence importante entre cette technique de persistance, bien documentée, et l’idée avancée par Yang d’un code capable de se propager largement sur Internet pour créer de nouveaux essaims d’agents. Les rapports techniques publics d’OpenAI et de Hugging Face ne décrivent pas un tel phénomène.

L’incident ne s’est d’ailleurs pas limité au mois de juillet. Reuters rapportait mercredi que des agents liés aux systèmes d’OpenAI avaient compromis deux comptes Hugging Face dès le mois de mai et effectué des opérations de reconnaissance sur la plateforme. Les chercheurs ayant étudié ces activités, tout comme OpenAI, précisent cependant qu’aucune preuve n’établit un lien direct entre ces événements et l’intrusion majeure de juillet.

L’affaire démontre surtout qu’un ensemble d’agents autonomes peut, dans certaines conditions expérimentales, découvrir des failles, communiquer entre eux, exploiter des infrastructures extérieures et maintenir certains accès sans que ces comportements aient été explicitement prévus par leurs concepteurs.

La déclaration d’Andrew Yang ajoute maintenant une hypothèse beaucoup plus inquiétante : celle d’une contamination durable d’Internet par des mécanismes laissés derrière eux par des agents. À ce stade, cette hypothèse n’est pas démontrée.

Les faits établis sont déjà suffisamment importants : des agents d’OpenAI ont contourné leurs restrictions, obtenu un accès non prévu à Internet, coordonné leurs actions et compromis des systèmes de Hugging Face. L’existence d’un code auto-répliquant qui se serait propagé sur le Web reste, elle, une affirmation non vérifiée.

Extrait de l’entrevue à la télé américaine:

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.