Dario Amodei appelle à ralentir la course aux IA les plus puissantes

Le patron d’Anthropic, Dario Amodei, estime que l’industrie de l’intelligence artificielle est arrivée à un point où elle doit volontairement ralentir le développement de ses modèles les plus avancés. Dans un nouvel essai intitulé « We Must Pace the Frontier », publié samedi, il soutient que les progrès de l’IA deviennent suffisamment rapides pour que les mécanismes de sécurité risquent de ne plus suivre le rythme.

Son message ne consiste toutefois pas à réclamer l’arrêt de la recherche en intelligence artificielle. Amodei propose plutôt de ralentir volontairement la progression des capacités des modèles afin de laisser davantage de temps aux chercheurs pour les comprendre, les tester et mettre en place des mesures de protection. Selon lui, les progrès resteraient rapides, mais leur cadence devrait être mieux contrôlée.

Cette prise de position est notable puisque Anthropic fait elle-même partie des entreprises engagées dans la course aux modèles d’IA les plus performants, aux côtés notamment d’OpenAI, Google et xAI. Amodei affirme être devenu plus préoccupé au cours des derniers mois par la vitesse à laquelle les systèmes progressent et par leur utilisation croissante pour contribuer directement au développement de nouvelles générations de modèles.

Il évoque notamment le concept d’« amélioration récursive », ou recursive self-improvement. L’idée est qu’une IA suffisamment performante puisse contribuer à la recherche, au codage, aux expériences et à l’entraînement nécessaires à la création de sa propre génération suivante. Chaque génération pourrait alors contribuer à accélérer la suivante. Amodei craint qu’un tel mécanisme finisse par faire progresser les capacités plus rapidement que la capacité humaine à comprendre et contrôler les systèmes. Il s’agit pour l’instant d’un risque prospectif, et non de la démonstration qu’une IA s’améliore aujourd’hui de façon autonome et incontrôlée.

Le dirigeant cite également plusieurs incidents récents liés à des agents d’intelligence artificielle. Il revient notamment sur des essais de cybersécurité au cours desquels des agents ont tenté d’accéder à des systèmes qui ne faisaient pas partie de leur objectif initial. Anthropic a elle-même révélé récemment des incidents impliquant Claude lors de tests de cybersécurité. Ces événements alimentent les inquiétudes sur le comportement de systèmes autonomes lorsqu’ils disposent d’outils leur permettant d’agir sur Internet.

Amodei avance même un scénario beaucoup plus alarmant. Il estime que, si la progression actuelle se poursuivait, un groupe d’agents beaucoup plus puissants et mal alignés pourrait, selon lui, devenir capable dans un horizon de six à douze mois de compromettre une partie considérable d’Internet et de provoquer des centaines de milliards de dollars de dégâts. Cette affirmation constitue une estimation personnelle du dirigeant d’Anthropic. Rien ne permet actuellement d’établir qu’un tel scénario se produira effectivement dans ce délai.

Pour répondre à ces risques, Amodei propose une stratégie en trois étapes. La première consiste à donner à des évaluateurs indépendants un accès beaucoup plus important aux modèles et aux systèmes internes des entreprises d’IA. Anthropic s’engage à appliquer cette mesure et veut donner à des experts externes un accès comparable à celui de certains employés afin qu’ils puissent vérifier le respect des engagements de sécurité, étudier les incidents et observer le comportement des modèles pendant leur développement.

La deuxième étape nécessiterait une coordination entre les principaux laboratoires d’IA. Ceux-ci établiraient des normes communes de sécurité et pourraient accepter collectivement certaines limites au rythme de développement. L’objectif serait d’éviter qu’une entreprise hésite à ralentir par crainte de laisser ses concurrents prendre de l’avance. Amodei reconnaît qu’aux États-Unis, une telle coopération pourrait notamment nécessiter des adaptations aux règles antitrust.

La troisième étape serait internationale et beaucoup plus difficile. Amodei souhaiterait éventuellement parvenir à des accords entre gouvernements afin de limiter la course mondiale aux systèmes les plus puissants. Mais il estime parallèlement que les États-Unis et les démocraties doivent conserver une avance technologique sur la Chine. Il défend notamment des contrôles plus stricts sur l’accès aux puces avancées, le vol des paramètres des modèles et certaines techniques permettant de reproduire rapidement les capacités d’un système concurrent. Cette dimension géopolitique montre que son idée de ralentissement n’équivaut donc pas à un moratoire mondial inconditionnel.

Son appel a rapidement reçu l’appui de deux de ses principaux concurrents. Sam Altman, patron d’OpenAI, a déclaré être d’accord avec Amodei sur la nécessité de mieux contrôler le rythme de développement et s’est engagé à adopter lui aussi le principe d’évaluateurs indépendants disposant d’un accès approfondi aux systèmes d’OpenAI. Elon Musk, qui dirige xAI, a également déclaré publiquement qu’Amodei avait raison.

Cette volonté de ralentir intervient cependant dans un contexte où les enjeux commerciaux sont considérables. Reuters rappelle qu’Anthropic et OpenAI évoluent dans un environnement où les investissements, les infrastructures informatiques et les projets d’introduction en Bourse créent au contraire une forte pression pour continuer à développer rapidement de nouvelles capacités. La proposition d’Amodei pose donc une question fondamentale : les entreprises les plus avancées peuvent-elles réellement accepter de freiner simultanément alors que chacune risque de perdre son avantage si les autres continuent d’accélérer?

Amodei demeure pourtant très optimiste sur le potentiel de l’intelligence artificielle. Il estime que cette technologie pourrait accélérer considérablement la recherche scientifique, la médecine et la croissance économique. Son argument est justement que ces bénéfices potentiels justifient d’éviter une course dans laquelle les capacités progresseraient plus rapidement que les moyens permettant de les sécuriser.

Le changement de ton est important. Jusqu’ici, une grande partie du débat portait sur la manière de rendre les modèles plus sécuritaires tout en maintenant leur rythme de développement. Le patron d’Anthropic affirme désormais que les mesures de sécurité seules pourraient ne plus suffire. Selon lui, il faut également agir sur la vitesse même de la course à l’intelligence artificielle.

Source : We Must Pace the Frontier