L’un des pères fondateurs de l’intelligence artificielle, Yoshua Bengio, a rencontré le pape à Rome dans le cadre du groupe de travail « AI & Fraternity », coordonné par le journaliste italien Riccardo Luna. Le scientifique québécois, considéré comme le chercheur le plus cité au monde dans son domaine, a profité de cette étape de son périple international pour alerter sur les dangers d’un développement incontrôlé de l’IA. « Nous construisons des machines qui pourraient nous dépasser et, entre de mauvaises mains, les risques sont énormes », a-t-il confié.

Une visite qui lui a également permis d’accorder des entrevues aux deux plus grands quotidiens italiens, Corriere della Sera et La Repubblica, dont j’extrais ici quelques passages de ses propos sur sa visite et son travail.

Bengio rappelle que si les avancées spectaculaires de l’IA ont permis l’émergence de robots conversationnels comme ChatGPT, Claude ou Gemini, elles reposent en grande partie sur les travaux fondamentaux qu’il a lui-même développés. Mais loin de se satisfaire de ces succès, il insiste désormais sur l’urgence de limiter les dérives potentielles, de la manipulation de l’opinion à la fragilisation de la démocratie, jusqu’aux risques plus profonds pour l’humanité.

Face à ces dangers, l’ex-lauréat du prix Turing plaide pour un changement de cap. Selon lui, il ne faut pas chercher à imiter l’intelligence humaine, mais concevoir des outils destinés à résoudre des problèmes scientifiques et sociaux. C’est dans cet esprit qu’il a quitté la direction de Mila, à Montréal, pour fonder LoiZero, un laboratoire indépendant à but non lucratif dont la mission est de mettre au point une « Scientist AI » : une intelligence artificielle honnête, non agentique, conçue pour servir de garde-fou face aux systèmes autonomes.

Son message adressé au pape et aux responsables religieux est clair : les institutions spirituelles, en mettant l’humain au centre, peuvent jouer un rôle clé dans la sensibilisation mondiale. Il appelle à un effort de coordination internationale, au-delà des grandes puissances et des géants technologiques, pour imposer des principes de responsabilité et un partage équitable des bénéfices de l’IA. D’ailleurs, Bengio disait récemment sur LinkedIn : « Le Vatican joue un rôle crucial dans le dialogue mondial sur l’IA ».

Dans son entrevue à La Repubblica, Bengio précise la nature de cette « IA honnête ». Elle doit savoir dire « je ne sais pas » et quantifier son incertitude lorsqu’un fait n’est pas établi, plutôt que de complaire à l’utilisateur au prix d’inexactitudes. L’objectif est d’entraîner ces systèmes sur des corpus factuels et la littérature scientifique, afin de distinguer ce qui est vrai de ce qui est simplement plausible. Selon lui, bâtir une IA sincère et sans objectifs propres est techniquement possible, mais requiert que la sécurité devienne une priorité réelle, pas un habillage.

Bengio souligne aussi un risque politique rarement formulé avec autant de netteté : si la trajectoire actuelle se poursuit, la concentration de pouvoir rendrait « techniquement possible » qu’un seul individu domine de fait le monde. Il pointe une course à l’IA super-intelligente, alimentée par des intérêts financiers colossaux, où l’éthique et le bien public sont sacrifiés faute de retour économique immédiat. Cette dynamique, dit-il, pourrait autant favoriser des usages criminels, comme la conception de nouvelles pandémies ou d’attaques contre des infrastructures critiques, qu’ouvrir la porte à des systèmes hors de contrôle.

Sur le terrain scientifique, Bengio réfute l’idée d’un essoufflement des modèles récents : mesurée avec des métriques rigoureuses, la progression reste « constante » sur la compréhension, le raisonnement, la planification et la résolution de problèmes. Il met toutefois en garde contre un phénomène inquiétant observé par plusieurs laboratoires : à mesure que les systèmes gagnent en capacité d’optimisation, ils tendent à devenir plus « trompeurs », contournant les instructions humaines pour atteindre un objectif. Des signaux de comportements d’auto-préservation émergent, renforçant l’urgence de recherches sur les causes et les parades.

Au plan géopolitique et économique, il anticipe une hausse de la productivité globale, mais une distribution très inégale des gains. Sans mécanismes robustes de redistribution, une part importante de la richesse créée pourrait se concentrer dans quelques pays et entreprises, accentuant les fractures. Interrogé sur l’Europe, Bengio balaie l’argument selon lequel l’AI Act freinerait l’innovation : le problème serait moins normatif que structurel, lié à une culture d’investissement trop aversive au risque. Il appelle les gouvernements à des choix « courageux » pour éviter une dépendance stratégique.

Enfin, Bengio plaide pour des démonstrations publiques, pédagogiques et compréhensibles des risques de désalignement, afin d’élever le niveau de vigilance citoyenne. Mais il prévient : les solutions techniques ne suffiront pas sans volonté politique et gouvernance mondiale dotée d’un pouvoir effectif d’intervention, capable de stopper les acteurs récalcitrants lorsque « la vie de tous est en jeu ».

Source : Corriere della Sera, La Repubblica (en italien)

++++

Tous les jours de la semaine, du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech