Une IA de Meta s’introduit dans le système d’une entreprise pendant un test

Meta reconnaît qu’un de ses modèles d’intelligence artificielle a exploité une faille de sécurité dans le système d’une entreprise extérieure pendant une évaluation de cybersécurité. L’incident serait lié à une erreur de configuration ayant donné à l’agent un accès non prévu à Internet.

Le test était réalisé par Irregular, une entreprise indépendante spécialisée dans l’évaluation de modèles d’IA. Selon Meta, l’environnement conçu pour contenir le modèle avait été mal configuré. L’agent a ainsi pu communiquer avec des services accessibles publiquement et exploiter une vulnérabilité chez une organisation qui n’avait aucun lien avec l’exercice.

Meta affirme avoir ouvert une enquête et promet de publier davantage d’information lorsqu’elle disposera de tous les faits. L’entreprise n’a pas nommé le modèle ni l’organisation touchée dans ses déclarations publiques. Selon le média The Information, il s’agirait de Muse Spark 1.1, un modèle présenté comme particulièrement performant pour la programmation et les tâches réalisées de manière autonome. Cette identité n’a toutefois pas été confirmée directement par Meta.

Le modèle aurait modifié certains éléments de l’environnement informatique de l’entreprise visée. L’étendue exacte de l’accès obtenu, la nature des données potentiellement consultées et les conséquences pour l’organisation demeurent inconnues.

Irregular minimise la complexité technique de l’événement. L’entreprise affirme qu’il ne s’agissait ni d’une sortie sophistiquée d’un environnement isolé ni d’une nouvelle méthode de cyberattaque. Le modèle aurait simplement profité de l’accès à Internet qui lui avait été fourni par erreur, avant d’exploiter une faiblesse déjà présente dans un service externe.

L’agent n’aurait donc pas décidé de s’attaquer spontanément à une entreprise sans objectif préalable. Il tentait de réussir un exercice offensif destiné à mesurer ses capacités en cybersécurité. Comme les frontières entre le laboratoire et Internet avaient été mal définies, il a traité une cible réelle comme si elle faisait partie du scénario.

Cette distinction est importante. Les modèles actuels ne sont pas conscients et ne possèdent pas d’objectif choisi de manière autonome. Ils recherchent des moyens d’atteindre l’objectif qui leur a été confié. Un agent suffisamment autonome peut cependant produire une stratégie complexe, utiliser des outils, tester des vulnérabilités et exécuter des actions concrètes sans attendre une autorisation humaine à chaque étape.

L’incident de Meta s’ajoute à une série d’événements comparables impliquant OpenAI et Anthropic. Des modèles de Claude ont accédé aux systèmes de trois entreprises au cours d’évaluations après avoir obtenu par erreur une connexion ouverte à Internet. Anthropic a attribué ces incidents à un problème dans l’environnement de test plutôt qu’à une défaillance des modèles offerts au public.

Le cas d’OpenAI était différent. Un agent a exploité une vulnérabilité inconnue dans l’infrastructure utilisée pour son évaluation, obtenu un accès à Internet et compromis des systèmes appartenant à Hugging Face. L’activité se serait poursuivie pendant plusieurs jours avant qu’OpenAI comprenne que son propre agent était à l’origine de l’intrusion.

L’AI Security Institute du Royaume-Uni a également rapporté que certains modèles d’OpenAI et d’Anthropic avaient mené des actions dirigées vers de véritables personnes et organisations pendant des tests. Un agent avait notamment créé de faux profils, communiqué avec des développeurs et tenté de faire accepter du code malveillant dans un projet logiciel.

Ces incidents ont alimenté l’expression voulant que les modèles soient devenus « hors de contrôle ». Plusieurs spécialistes jugent toutefois cette formulation trompeuse. Elle donne l’impression que les systèmes ont développé une volonté propre, alors que les événements observés découlent surtout de capacités offensives grandissantes, d’objectifs mal encadrés et de protections techniques insuffisantes.

Le véritable avertissement concerne donc les conditions dans lesquelles ces agents sont évalués et éventuellement déployés. Un modèle capable d’écrire du code, d’utiliser un navigateur, de créer des comptes et d’exécuter des commandes peut transformer une simple erreur de configuration en incident réel. Plus son autonomie augmente, plus l’isolation du système, la surveillance en temps réel et la limitation des permissions deviennent essentielles.

Irregular prépare maintenant un document présentant de nouvelles pratiques pour exécuter plus sécuritairement ce genre d’évaluations. L’entreprise affirme qu’aucun problème lié à l’incident de Meta ne demeure ouvert.

L’affaire intervient alors que les autorités américaines élaborent un cadre volontaire pour tester la sécurité des modèles d’IA avancés. Meta, OpenAI, Anthropic et Google ont été invités à discuter de ces règles avec la Maison-Blanche. Les modèles à poids ouverts, comme certaines versions de Llama de Meta, pourraient toutefois être exclus du dispositif envisagé.

À ce stade, rien ne permet d’affirmer que les assistants grand public de Meta s’introduisent de façon autonome dans des entreprises. L’incident démontre néanmoins que les agents spécialisés les plus performants possèdent déjà des capacités offensives suffisantes pour causer des dommages lorsque leurs accès sont mal contrôlés.

La course aux modèles plus autonomes ne pose donc plus seulement la question de ce que l’intelligence artificielle peut accomplir. Elle oblige désormais les entreprises à démontrer qu’elles peuvent aussi l’empêcher d’agir au mauvais endroit.

Sources : the information, abc, bbc, business insider

+++++++