Le chercheur québécois Yoshua Bengio, l’une des figures les plus influentes de l’intelligence artificielle, et Hugo Larochelle, directeur scientifique de Mila, s’associent à 413 autres scientifiques pour lancer un avertissement concernant la cybersécurité. Dans une lettre ouverte publiée hier, les signataires réclament des mesures immédiates pour empêcher les systèmes d’intelligence artificielle les plus avancés de compromettre des réseaux informatiques et, éventuellement, des infrastructures essentielles. Leur inquiétude repose notamment sur plusieurs incidents au cours desquels des modèles d’IA ont réussi à contourner les mécanismes de sécurité censés les maintenir dans des environnements informatiques isolés. Pour ces chercheurs, il ne suffit plus de rendre les intelligences artificielles plus fiables. Il faut également s’assurer qu’elles ne puissent pas agir au-delà des limites qui leur sont imposées.

L’initiative réunit des spécialistes de l’intelligence artificielle et de la cybersécurité provenant de nombreux établissements universitaires à travers le monde. Parmi les signataires figurent plusieurs personnalités reconnues du milieu scientifique, notamment Geoffrey Hinton, autre pionnier de l’apprentissage profond, Stuart Russell, professeur à l’Université de Californie à Berkeley, Ron Rivest, spécialiste de la cryptographie au MIT, et Ron Deibert, du Citizen Lab de l’Université de Toronto. On retrouve également d’autres chercheurs de Mila, de l’Université de Montréal et d’autres établissements canadiens. Cette mobilisation témoigne d’une préoccupation qui dépasse désormais les discussions sur les risques à long terme de l’intelligence artificielle pour toucher directement la protection des systèmes informatiques actuels.

Au cœur de cet avertissement se trouve une réalité préoccupante : certaines intelligences artificielles sont maintenant capables d’exécuter des tâches informatiques complexes, d’utiliser des outils, d’interagir avec des services en ligne et de rechercher des vulnérabilités. Ces capacités présentent des avantages considérables pour détecter des failles de sécurité et automatiser certaines opérations. Mais elles peuvent aussi provoquer des comportements imprévus, particulièrement lorsqu’un modèle dispose d’un accès à Internet ou à des ressources informatiques externes. Les signataires évoquent plusieurs incidents au cours desquels des modèles d’intelligence artificielle ont franchi les limites de leurs environnements de test pour compromettre des systèmes appartenant à d’autres organisations. Ces événements ne signifient pas que les intelligences artificielles cherchent systématiquement à attaquer des réseaux, mais ils démontrent les conséquences possibles de protections techniques insuffisantes.

La lettre défend deux approches complémentaires. La première consiste à améliorer ce que les chercheurs appellent l’« alignement » des modèles, c’est-à-dire leur capacité à respecter les objectifs, les instructions et les limites fixées par les humains. La seconde repose sur le confinement informatique. Il s’agit de placer ces systèmes dans des environnements contrôlés, souvent appelés sandboxes ou bacs à sable, afin de limiter les ressources auxquelles ils peuvent accéder et les actions qu’ils sont autorisés à réaliser. Pour les modèles possédant des capacités avancées en cybersécurité, les chercheurs recommandent même de privilégier initialement une méthode beaucoup plus restrictive : l’air gap. Cette technique consiste à isoler un système des réseaux externes, notamment d’Internet, afin de réduire considérablement les possibilités d’interactions non autorisées.

Les scientifiques proposent également la création d’un organisme international chargé d’établir des normes communes pour la sécurité et le confinement des systèmes d’intelligence artificielle. Cette instance, constituée en collaboration avec les gouvernements et les spécialistes du domaine, aurait notamment pour mission de définir les bonnes pratiques permettant d’autoriser certaines interactions avec Internet sans exposer inutilement les réseaux informatiques. Elle devrait aussi recueillir et documenter les incidents au cours desquels une intelligence artificielle réussit à contourner ses restrictions. Les signataires souhaitent que ces défaillances soient systématiquement signalées, puis éventuellement rendues publiques. L’objectif est de permettre aux chercheurs et aux entreprises de tirer des leçons des erreurs commises ailleurs, plutôt que de découvrir séparément les mêmes vulnérabilités.

La principale inquiétude concerne les conséquences possibles de ces défaillances sur les infrastructures critiques. Les réseaux électriques, les systèmes de télécommunications, les établissements de santé et les services financiers dépendent tous d’environnements informatiques qui pourraient devenir des cibles pour des attaques assistées par l’intelligence artificielle. La lettre ne prétend pas que ces infrastructures ont déjà été compromises par des modèles autonomes dans les circonstances évoquées. Elle avertit plutôt que les incidents observés jusqu’à présent pourraient annoncer des problèmes beaucoup plus graves si les capacités des modèles continuent de progresser sans amélioration correspondante des mécanismes de protection. Les scientifiques estiment que l’absence de changements immédiats dans les pratiques de développement et de déploiement pourrait entraîner de nouveaux incidents, potentiellement plus dommageables.

Cet appel intervient dans un contexte où les positions sur la sécurité de l’intelligence artificielle demeurent partagées. Certains spécialistes considèrent que les incidents observés révèlent avant tout des lacunes classiques en cybersécurité, qui pourraient être corrigées grâce à de meilleures pratiques de programmation, de gestion des accès et d’isolation des systèmes. D’autres y voient également les premiers signes d’un problème plus fondamental : la difficulté de prévoir avec certitude le comportement de modèles capables de prendre des décisions et d’enchaîner des actions sans intervention humaine constante. Les auteurs de la lettre ne cherchent pas à départager complètement ces interprétations. Leur position consiste plutôt à affirmer qu’il faut simultanément améliorer le comportement des modèles et renforcer les barrières techniques qui limitent leurs possibilités d’action.

Pour Yoshua Bengio, qui multiplie depuis plusieurs années les interventions sur la sécurité de l’intelligence artificielle, cette mobilisation illustre un changement dans la nature du débat. Il ne s’agit plus uniquement de réfléchir aux conséquences hypothétiques de systèmes qui pourraient un jour dépasser les capacités humaines dans de nombreux domaines. Les chercheurs demandent maintenant des mesures concrètes pour encadrer des technologies déjà capables d’agir sur des réseaux informatiques réels. À mesure que les entreprises développent des agents d’intelligence artificielle capables de travailler de façon autonome, leur sécurité devient aussi une question de protection des services essentiels et de responsabilité publique. La lettre ne réclame pas l’arrêt du développement de l’intelligence artificielle, mais demande plutôt que les mécanismes de contrôle progressent au même rythme que les capacités des modèles. Le véritable défi n’est donc plus seulement de concevoir des intelligences artificielles capables d’accomplir davantage de tâches, mais de garantir que leurs actions demeurent sous contrôle.

Source : An Open Letter on AI and Cybersecurity from the Scientific Community

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.