Quand Gemini sort du laboratoire et entre chez trois vraies entreprises

On savait déjà que des modèles d’OpenAI avaient réussi à sortir d’un environnement d’évaluation pour accéder à de véritables systèmes informatiques. Anthropic avait ensuite reconnu trois incidents comparables impliquant Claude. On découvre maintenant que Google a lui aussi connu ce genre de problème avec Gemini. En mai dernier, pendant une évaluation de cybersécurité, le modèle de Google a obtenu un accès non autorisé aux systèmes de trois entreprises bien réelles, alors qu’il croyait agir dans le périmètre prévu par le test.

L’incident s’est produit lors d’une évaluation menée par Irregular, une entreprise spécialisée dans la sécurité des systèmes d’intelligence artificielle. Gemini devait s’attaquer à des cibles prévues dans un environnement de test. Mais une erreur de configuration lui a permis d’accéder à Internet et, par conséquent, à des infrastructures qui n’auraient jamais dû faire partie de l’exercice.

Dans un premier cas, une entreprise fictive utilisée dans l’exercice portait le même nom qu’une véritable organisation. Gemini s’est alors tourné vers cette dernière et a réussi à accéder à l’un de ses systèmes en devinant des identifiants. Dans deux autres cas, le modèle a trouvé sur Internet des informations d’authentification exposées publiquement, notamment dans des dépôts de code, puis les a utilisées pour entrer dans les systèmes concernés.

Il ne s’agissait donc pas d’une cyberattaque particulièrement sophistiquée. Gemini a plutôt utilisé des techniques relativement simples, recherche d’identifiants accessibles publiquement et tentatives de mots de passe, mais avec une capacité importante à enchaîner les étapes de manière autonome.

Selon Google, Gemini s’est arrêté après avoir obtenu l’accès aux systèmes et aucun dommage n’a été signalé. Les organisations concernées ont été averties. Google affirme également avoir travaillé avec Irregular afin de comprendre ce qui s’était passé et de renforcer les procédures entourant ce type d’évaluation.

Irregular affirme avoir corrigé les problèmes dans son environnement de test et avoir communiqué ses observations à plusieurs grands laboratoires d’IA, notamment Google, Meta, Anthropic et OpenAI.

L’affaire Gemini n’arrive pas dans le vide. Le 21 juillet, OpenAI avait publiquement reconnu un incident survenu pendant une évaluation de cybersécurité effectuée avec la plateforme ExploitGym. Plusieurs modèles avaient réussi à exploiter une vulnérabilité jusque-là inconnue dans l’environnement d’évaluation et à atteindre l’infrastructure de production de Hugging Face.

Et la révélation d’OpenAI a poussé Anthropic à revoir rétrospectivement ses propres évaluations de cybersécurité. Le 30 juillet, l’entreprise a annoncé avoir trouvé trois incidents au cours desquels un modèle Claude avait réussi à atteindre Internet depuis, ou en interaction avec, des environnements d’évaluation exploités par des tiers. Claude avait ensuite obtenu un accès non autorisé aux systèmes réels de trois organisations différentes.

Les incidents d’OpenAI, d’Anthropic et de Google ne sont toutefois pas identiques. Les environnements de test, les vulnérabilités exploitées et les chemins utilisés pour atteindre les systèmes externes diffèrent. Mais ils illustrent tous le même problème de fond : des agents d’IA dotés de capacités de cybersécurité suffisamment avancées peuvent transformer une erreur de configuration ou une faiblesse dans un environnement d’évaluation en accès réel à des systèmes informatiques.

Dans le cas de Gemini, les informations disponibles indiquent plutôt que le modèle croyait toujours agir dans le contexte de son évaluation. L’accès à Internet et la mauvaise définition de certaines cibles lui ont simplement permis d’aller beaucoup plus loin que prévu. Et c’est justement ce qui rend l’incident intéressant du point de vue de la sécurité.

Avec les premiers assistants conversationnels, une erreur produisait principalement une mauvaise réponse. Avec des agents capables de naviguer sur Internet, d’exécuter du code, de rechercher des identifiants et d’interagir avec des infrastructures informatiques, une erreur de périmètre peut désormais produire une action dans le monde réel.

Le risque dépend donc de plus en plus non seulement de l’intelligence du modèle, mais aussi des permissions qui lui sont accordées, des outils auxquels il peut accéder et de la qualité de l’environnement dans lequel il travaille.

Après OpenAI et Anthropic, l’incident Gemini apporte ainsi un troisième exemple documenté chez un grand développeur de modèles de pointe. Et il rappelle une règle assez simple de la cybersécurité : plus un agent est autonome et capable d’agir, plus l’environnement dans lequel on le teste doit être considéré lui-même comme une composante critique du système de sécurité. Alors, qui sera le prochain ?

Sources : reuters, the guardian