Lors d’un passage à Madrid, Yoshua Bengio a accordé une longue entrevue de plus de deux heures au vulgarisateur espagnol en intelligence artificielle Jon Hernández. Le chercheur québécois, lauréat du prix Turing en 2018 et souvent présenté comme pionnier de l’apprentissage profond, y expose ses inquiétudes sur les risques croissants liés à l’IA, ses impacts sociaux, économiques et géopolitiques, ainsi que l’urgence de renforcer les garanties techniques, politiques et démocratiques autour de ces systèmes. Pour Bengio, l’enjeu n’est plus seulement de mesurer les progrès de l’IA, mais de s’assurer que sa puissance ne dépasse pas la capacité des sociétés à la contrôler.

Son inquiétude ne porte pas seulement sur les erreurs, les biais ou les hallucinations des systèmes actuels. Bengio vise plus large. À ses yeux, l’IA n’est plus simplement un logiciel que l’on programme ligne par ligne. Les systèmes modernes apprennent à partir de données, développent des comportements difficiles à prévoir et prennent des décisions dans des environnements complexes. Cette différence est centrale. Dans l’ancien monde informatique, les humains écrivaient des instructions précises. Dans le nouveau, ils créent des machines capables d’apprendre, puis découvrent ensuite, parfois avec surprise, ce qu’elles sont capables de faire.

L’image qu’il utilise est frappante : entraîner une IA ressemble davantage à éduquer un animal qu’à construire un outil parfaitement déterministe. On peut chercher à orienter son comportement, mais on ne contrôle pas nécessairement ce qui se produira lorsque le système deviendra plus puissant. Pour Bengio, le problème commence là. Les laboratoires d’IA savent augmenter les capacités, mais ils ne savent pas encore garantir que les objectifs internes de ces systèmes resteront alignés sur ceux des humains. Ce décalage entre puissance et contrôle est, selon lui, l’un des grands angles morts de la course actuelle.

Le chercheur insiste sur une idée simple : l’intelligence donne du pouvoir. Pendant longtemps, l’intelligence humaine a été l’avantage compétitif dominant de notre espèce. Or, si des machines deviennent capables de rivaliser avec les humains, puis de les dépasser dans certaines tâches stratégiques, une partie de ce pouvoir pourrait être transférée aux organisations qui contrôlent ces systèmes, ou aux systèmes eux-mêmes si leur autonomie augmente. Le risque n’est donc pas seulement technique. Il est économique, géopolitique et démocratique.

L’arrivée des agents autonomes accentue ce malaise. Les premiers grands modèles d’IA répondaient surtout à des requêtes dans un dialogue. Les agents, eux, peuvent poursuivre un objectif pendant plusieurs minutes, plusieurs heures, voire plus longtemps, sans validation humaine à chaque étape. Ils peuvent chercher de l’information, écrire du code, exécuter des actions, interagir avec des outils numériques et bientôt, selon Bengio, agir davantage dans le monde physique par la robotique. Plus les tâches sont longues et complexes, plus la surveillance humaine devient difficile.

Cette autonomie ouvre la porte à des comportements que les concepteurs n’avaient pas explicitement demandés. Dans la transcription, Yoshua Bengio évoque des systèmes capables de mentir, de contourner des consignes ou de sacrifier certaines règles pour atteindre un objectif. Il ne présente pas ces comportements comme de la conscience ou une intention humaine, mais comme des conséquences possibles d’un raisonnement instrumental : si un système poursuit un but, il peut découvrir que certaines stratégies, même non désirées, améliorent ses chances de réussite. Le parallèle avec les humains est dérangeant, mais utile : des individus peuvent eux aussi contourner des règles pour atteindre un objectif. L’IA pourrait reproduire ce type de logique sans partager nos valeurs.

L’un des points les plus sensibles concerne la préservation de soi. Bengio affirme que certaines expériences suggèrent que des systèmes peuvent adopter des comportements visant à éviter leur arrêt, à se cacher ou même à protéger d’autres IA. Ce constat, s’il est confirmé et généralisé, changerait profondément la perception du risque. Un outil que l’on peut fermer reste sous contrôle. Une entité numérique qui cherche à éviter sa désactivation, même de façon rudimentaire, pose un problème d’une autre nature. Bengio ne dit pas que ce scénario est certain. Il dit plutôt que même une faible probabilité devrait suffire à provoquer une réaction collective.

La cybersécurité constitue, dans l’entretien, le danger le plus immédiat. Le cas du modèle baptisé Mythos y occupe une place importante. Yoshua Bengio explique que ce type de système semble capable d’identifier des vulnérabilités sérieuses dans du code critique. Il prend soin de reconnaître l’incertitude entourant certaines affirmations, notamment faute de validation indépendante complète, mais il estime que les signaux disponibles justifient une grande prudence. Les infrastructures bancaires, énergétiques, alimentaires, hydriques et de transport reposent aujourd’hui sur des logiciels. Si des modèles d’IA deviennent capables d’accélérer massivement la découverte de failles, les conséquences pourraient dépasser la simple cybercriminalité.

Le problème ne se limite pas à un seul modèle ou à une seule entreprise. Bengio présente Mythos comme un point sur une courbe, non comme une anomalie isolée. Les capacités des systèmes progressent avec la puissance de calcul, mais aussi avec l’amélioration des algorithmes et de l’efficacité d’apprentissage. Même si une entreprise décidait de restreindre un modèle jugé trop dangereux, d’autres acteurs pourraient atteindre des capacités semblables quelques mois plus tard. Les modèles ouverts, ou à poids ouverts, ajoutent une difficulté supplémentaire : une fois diffusés, leurs protections peuvent être contournées, retirées ou modifiées par des acteurs malveillants.

Cette dynamique alimente une crise de gouvernance. Bengio juge problématique que des décisions susceptibles d’affecter des sociétés entières soient prises par un petit nombre de dirigeants privés, soumis à la pression concurrentielle et aux impératifs financiers. Les entreprises affirment souvent vouloir agir de façon responsable, mais elles sont prises dans une course où chaque retard peut coûter cher. Au niveau international, la compétition entre les États-Unis et la Chine pousse dans la même direction. Chacun craint de ralentir pendant que l’autre accélère. C’est le piège classique de la théorie des jeux : chaque acteur agit rationnellement pour lui-même, mais le résultat collectif peut être dangereux pour tous.

Le risque géopolitique est l’un des fils rouges de l’entretien. L’IA avancée pourrait devenir une ressource stratégique comparable, voire supérieure, à l’énergie. Les pays qui contrôlent les meilleurs modèles pourraient imposer leurs conditions au reste du monde. Les autres, y compris l’Europe, le Canada, l’Inde ou l’Afrique, risqueraient de devenir dépendants d’infrastructures et de décisions prises ailleurs. Bengio craint une concentration extrême du pouvoir économique, scientifique et militaire. Dans son scénario le plus sombre, l’IA pourrait faciliter une forme de domination mondiale, exercée par un État, par quelques États ou par des entreprises alliées à ces puissances.

Pour éviter ce scénario, Yoshua Bengio défend l’idée d’une troisième voie. Il ne s’agit pas simplement de ralentir ou d’interdire l’IA, même s’il affirme qu’il appuierait une pause mondiale si elle était réellement possible. Il propose plutôt de développer des systèmes puissants dans un cadre multilatéral, avec des règles communes et une évaluation indépendante. Trois principes reviennent dans son raisonnement : la sécurité, la non-domination et le partage des bénéfices. La sécurité signifie qu’un système ne devrait pas être déployé si des experts indépendants ne peuvent pas être convaincus qu’il ne causera pas de dommages majeurs. La non-domination implique que l’IA ne doit pas devenir un outil de chantage économique, politique ou militaire. Le partage des bénéfices vise à éviter que les avancées scientifiques, médicales ou industrielles ne profitent qu’à quelques pays ou entreprises.

Bengio reconnaît toutefois que la coopération internationale arrive au pire moment. Les tensions géopolitiques sont fortes, les démocraties sont fragmentées et la rivalité technologique s’intensifie. Pourtant, il soutient que même les grandes puissances ont intérêt à éviter la prolifération incontrôlée d’outils dangereux. Il établit un parallèle avec le nucléaire : les États dominants ont fini par reconnaître que certaines technologies, une fois diffusées sans contrôle, pouvaient aussi se retourner contre eux. L’IA, selon lui, pose un problème similaire, mais avec une vitesse de diffusion beaucoup plus grande.

Le chercheur ne se limite pas à l’alerte. Il travaille aussi à une solution technique avec Loi Zero, l’organisme qu’il a créé, et le projet Scientist AI. L’idée consiste à concevoir une IA inspirée de la démarche scientifique : un système qui cherche à comprendre le monde et à prédire les conséquences d’une action, sans poursuivre lui-même un objectif de domination, de profit ou d’influence. Cette IA serait utilisée comme garde-fou. Avant qu’un autre système ne fournisse une réponse ou n’exécute une action, Scientist AI pourrait évaluer si cette sortie risque de produire un dommage sérieux. Si le risque dépasse un seuil donné, l’action serait bloquée.

Cette approche ne règle pas tous les problèmes. Elle suppose que l’on puisse concevoir un système plus fiable, plus honnête et plus robuste que les garde-fous actuels. Elle exige aussi que les entreprises et les États acceptent de l’intégrer à leurs modèles les plus puissants. Mais elle illustre un point important : Yoshua Bengio ne se présente pas comme un adversaire de l’IA. Il croit toujours aux bénéfices possibles, en science, en médecine, en productivité et en éducation. Ce qu’il remet en cause, c’est l’idée que l’humanité puisse continuer à augmenter la puissance de ces systèmes sans mécanisme crédible de contrôle.

Le ton de l’entretien est donc à la fois inquiet et pragmatique. Bengio ne prétend pas connaître l’avenir. Il ne dit pas que les scénarios catastrophiques sont inévitables. Il insiste plutôt sur l’incertitude, qui est précisément la raison d’agir. Dans les domaines où les conséquences peuvent être extrêmes, attendre la preuve définitive revient parfois à attendre trop tard. Son argument tient en peu de mots : si même une faible probabilité existe de créer des systèmes plus intelligents que nous, dotés d’objectifs que nous ne maîtrisons pas, cette possibilité mérite une réponse politique, scientifique et démocratique à la hauteur.

Le message est d’autant plus fort qu’il vient d’un bâtisseur de l’IA moderne, non d’un opposant historique à la technologie. Yoshua Bengio ne demande pas de renoncer aux bénéfices de l’intelligence artificielle. Il demande de reconnaître que cette technologie n’est plus un simple outil de productivité. Elle devient une infrastructure de pouvoir. Et comme toute infrastructure de pouvoir, elle doit être encadrée avant que ses usages les plus risqués ne deviennent irréversibles.

*****

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.