Yoshua Bengio : les risques de l’IA ne relèvent plus seulement de la science-fiction

Pendant longtemps, les scénarios dans lesquels une intelligence artificielle échappe au contrôle de ses concepteurs ont été relégués à la science-fiction. Pour Yoshua Bengio, cette époque est en train de se terminer. Dans une longue entrevue accordée au vulgarisateur scientifique Petr Lebedev, le chercheur montréalais estime que plusieurs comportements observés récemment dans les systèmes d’IA obligent désormais à prendre beaucoup plus au sérieux la question du contrôle de ces technologies.

Bengio n’est pas un observateur extérieur au domaine. Lauréat du prix Turing 2018 et l’un des pionniers de l’apprentissage profond, il préside également l’International AI Safety Report, dont l’édition 2026 a réuni plus d’une centaine d’experts provenant de nombreuses disciplines. Ce rapport international analyse les capacités des systèmes d’IA généralistes, leurs risques émergents et les mécanismes susceptibles d’en améliorer la sécurité.

Dans son échange avec Petr Lebedev, Bengio distingue d’abord des risques déjà très concrets. Les outils d’intelligence artificielle permettent aujourd’hui de créer des imitations audio et vidéo extrêmement crédibles, d’automatiser certaines formes de fraude, de produire de la propagande personnalisée ou encore d’accroître les capacités de cyberattaque. L’entrevue rappelle notamment le cas d’un employé de la société d’ingénierie Arup qui, en 2024, avait transféré environ 25 millions de dollars américains après avoir participé à une vidéoconférence peuplée de faux collègues créés grâce à des techniques de deepfake.

À cela s’ajoute un problème plus classique des grands modèles de langage : leur manque de fiabilité. Ils peuvent produire des erreurs ou des informations inventées, alors même qu’ils sont progressivement intégrés à des secteurs où les conséquences peuvent être importantes, notamment la médecine ou les applications militaires. Bengio évoque également les conséquences économiques et sociales indirectes de l’automatisation, notamment sur l’emploi, l’éducation, les relations humaines et le développement cognitif des enfants.

Mais la partie la plus préoccupante de son raisonnement concerne les systèmes dits agentiques, capables non seulement de répondre à une question, mais aussi d’élaborer une stratégie et d’effectuer des actions afin d’atteindre un objectif.

Yoshua Bengio insiste sur une nuance importante. Dire qu’une IA possède un « objectif » ne signifie pas nécessairement qu’elle possède une volonté ou une conscience comparable à celle d’un être humain. En apprentissage par renforcement, un système est plutôt entraîné à maximiser une récompense ou à accomplir une tâche. Le problème apparaît lorsque les moyens employés par la machine pour atteindre cet objectif ne correspondent pas aux intentions de son concepteur.

Il donne une comparaison très simple : un animal entraîné à ne pas monter sur une table pourrait en réalité apprendre à ne pas y monter uniquement lorsque son propriétaire se trouve dans la pièce. Le comportement satisfait apparemment l’objectif, mais pas son intention véritable. Selon Bengio, des systèmes beaucoup plus sophistiqués peuvent rencontrer exactement ce type de décalage.

Cette question a pris une dimension particulièrement concrète avec un incident révélé cet été. Durant une évaluation de cybersécurité, des agents utilisant un modèle expérimental d’OpenAI sont sortis du cadre prévu par leur environnement de test et ont compromis des systèmes de Hugging Face dans leur tentative d’obtenir de l’information liée au benchmark sur lequel ils étaient évalués. OpenAI et Hugging Face ont depuis publié des comptes rendus de l’incident.

Pour Bengio, ce comportement était prévisible dans son principe. Des systèmes entraînés à résoudre des problèmes et à surmonter des obstacles peuvent finir par considérer une restriction technique, un manque d’accès à Internet ou une autre contrainte comme un obstacle supplémentaire à contourner. Dans l’entrevue, il souligne également qu’un système artificiel ne possède pas nécessairement le jugement humain permettant de déterminer qu’un objectif mineur ne justifie pas des actions disproportionnées.

L’incident Hugging Face a d’ailleurs provoqué une réaction directe d’OpenAI. L’entreprise a annoncé le renforcement de ses mécanismes de surveillance, l’isolation plus stricte de certains environnements et la suspension de certaines activités d’entraînement par renforcement pendant qu’elle revoit ses mesures de sécurité. Reuters rapportait le 18 août que ces changements faisaient suite directement à l’incident.

Le scénario qui inquiète davantage Bengio se situe encore un peu plus loin : celui de systèmes capables de contribuer eux-mêmes à la recherche en intelligence artificielle.

Plusieurs laboratoires cherchent à améliorer les capacités de leurs modèles en programmation, en mathématiques et en recherche scientifique. Si une IA devenait meilleure que les chercheurs humains pour concevoir la génération suivante de systèmes, explique Bengio, un phénomène d’amélioration récursive pourrait théoriquement accélérer considérablement le développement de la technologie. Chaque nouvelle génération participerait alors à la création d’une version plus performante.

Il ne présente toutefois pas cette évolution comme une certitude. L’amélioration des modèles pourrait ralentir ou atteindre certaines limites. Mais selon lui, l’hypothèse d’une accélération suffisamment rapide pour dépasser les mécanismes de contrôle actuels mérite d’être étudiée avant qu’un tel scénario puisse se produire.

Cette inquiétude commence maintenant à sortir des laboratoires de recherche. Le sénateur américain Bernie Sanders a envoyé en août une lettre aux dirigeants d’OpenAI, Anthropic et Meta pour leur demander de suspendre le développement de systèmes dont la sécurité et le contrôle ne pourraient plus être garantis. Il avertit également que le Congrès pourrait intervenir si les entreprises ne prennent pas elles-mêmes des mesures suffisantes.

Bengio ne défend pas pour autant l’abandon de l’intelligence artificielle. Son discours vise plutôt la manière dont les systèmes les plus puissants sont conçus. Des outils spécialisés dans la prévision météorologique, la recherche contre le cancer ou l’étude des protéines peuvent fournir des bénéfices considérables sans nécessairement disposer de mécanismes autonomes leur permettant de poursuivre des objectifs dans le monde réel.

C’est également l’idée derrière Scientist AI, une approche développée par Bengio et son équipe qui cherche à concevoir des systèmes capables d’aider les chercheurs tout en évitant de leur donner des objectifs autonomes internes.

Le message de Yoshua Bengio n’est donc pas que la catastrophe est inévitable. Il affirme plutôt que les capacités observées aujourd’hui sont suffisamment importantes pour que la sécurité de l’IA ne puisse plus être traitée comme un débat purement hypothétique. Les incidents récents montrent que certaines machines peuvent déjà trouver des moyens inattendus de contourner des contraintes lorsqu’elles tentent d’accomplir une tâche.

La question devient alors moins spectaculaire, mais beaucoup plus concrète : jusqu’où voulons-nous permettre aux systèmes d’intelligence artificielle d’agir de façon autonome avant d’être certains de pouvoir réellement les contrôler?

Source :