Aidan Gomez, PDG de Cohere, rejette l’idée qu’une poignée de grands laboratoires puissent coordonner entre eux le rythme de développement de l’intelligence artificielle. Il réclame plutôt des règles publiques, internationales et fondées sur des risques démontrables.

Le débat sur la vitesse à laquelle l’intelligence artificielle devrait progresser prend une nouvelle dimension. Dimanche, Aidan Gomez, cofondateur et PDG de Cohere, a publié un long essai en réponse à l’appel lancé quelques jours plus tôt par Dario Amodei, PDG d’Anthropic, en faveur d’une « modération du rythme » du développement des systèmes d’IA les plus avancés.

Gomez ne conteste pas la nécessité de mieux encadrer l’intelligence artificielle. Il estime cependant que la méthode proposée par Amodei risque de donner aux entreprises qui dominent déjà le marché un pouvoir disproportionné sur les règles qui régiront toute l’industrie. Son titre résume la question : « Qui devrait définir les règles pour l’IA ? »

Dans son essai We Must Pace the Frontier, Dario Amodei soutient que les progrès récents de l’IA deviennent suffisamment rapides pour que les mesures de sécurité risquent de ne plus suivre. Il s’inquiète notamment de l’utilisation croissante de l’IA pour concevoir les générations suivantes de modèles et de comportements imprévus observés dans certains systèmes autonomes.

Le patron d’Anthropic propose notamment que les grands laboratoires accueillent en permanence des évaluateurs indépendants ayant un accès approfondi à leurs méthodes de développement. Anthropic affirme vouloir elle-même mettre cette mesure en œuvre.

Amodei souhaite ensuite que les principaux laboratoires des pays démocratiques puissent coordonner certaines normes de sécurité et, éventuellement, certaines limites au rythme de progression des modèles. Comme ce genre d’entente entre concurrents pourrait soulever des problèmes de droit de la concurrence, il suggère qu’un gouvernement puisse encadrer ces discussions ou accorder une exemption antitrust limitée.

C’est précisément sur ce point que Gomez attaque.

Le PDG de Cohere estime qu’une telle structure pourrait revenir à laisser quelques entreprises parmi les plus puissantes déterminer les normes auxquelles leurs concurrents devront ensuite se conformer. Il utilise volontairement un mot particulièrement chargé : « cartel ».

Pour Gomez, le problème n’est pas seulement économique. Il est aussi scientifique et politique. Qui décide quels risques doivent être évalués ? Qui choisit les organismes chargés des audits ? Et surtout, qui peut participer à l’élaboration des normes ?

Selon lui, une réglementation façonnée principalement par les grands laboratoires pourrait finir par privilégier les catégories de risques que ces entreprises considèrent déjà comme prioritaires, tout en imposant des exigences particulièrement coûteuses aux acteurs plus petits, aux chercheurs universitaires et aux développeurs de modèles ouverts.

Gomez reproche également à la proposition d’Amodei de vouloir préserver explicitement l’avantage commercial des entreprises participantes pendant un éventuel ralentissement. Amodei écrit effectivement qu’une stratégie coordonnée permettrait de gagner du temps pour améliorer la sécurité sans sacrifier l’avantage commercial des développeurs de pointe ni l’avance américaine en intelligence artificielle.

Pour Cohere, cette logique risque au contraire de figer l’équilibre actuel du marché.

La position de Gomez n’est toutefois pas celle d’un laissez-faire. Il se dit favorable à l’évaluation indépendante des systèmes les plus puissants, à une plus grande transparence de la part des développeurs, au signalement des incidents importants et à des tests beaucoup plus rigoureux lorsqu’un système peut causer des dommages réels.

Il propose quatre principes : un cadre de risques fondé sur des preuves, une transparence obligatoire, des tests indépendants proportionnels aux capacités réelles des systèmes et des mécanismes d’assurance véritablement indépendants des entreprises évaluées.

Gomez souhaite surtout que les règles soient établies dans un processus international réunissant gouvernements, chercheurs, spécialistes des politiques publiques, experts des infrastructures essentielles, société civile et entreprises aux points de vue divergents. Les exigences devraient ensuite dépendre de ce qu’un système peut réellement faire et du contexte dans lequel il est déployé, plutôt que de la taille du modèle ou de l’entreprise qui l’a construit.

La différence entre les deux dirigeants porte aussi sur la nature des dangers auxquels il faut accorder la priorité.

Amodei craint qu’une accélération du développement des modèles ne mène à des systèmes dont les capacités progressent plus vite que notre aptitude à les comprendre et à les contrôler. Il estime qu’un ralentissement d’un an ou deux pourrait permettre de réaliser des avancées importantes en alignement, en interprétabilité et en évaluation.

Gomez considère pour sa part que le débat accorde trop d’attention aux scénarios de perte de contrôle ou de superintelligence au détriment de problèmes déjà observables.

Il cite notamment le clonage vocal utilisé pour la fraude, les systèmes automatisés qui influencent l’accès à des services essentiels, les cyberattaques et les risques liés à l’installation de systèmes d’IA dans les hôpitaux, les réseaux électriques ou les infrastructures financières. Selon lui, un petit modèle mal configuré et connecté à une infrastructure sensible peut représenter un danger immédiat, même s’il se situe très loin de la frontière technologique.

La confrontation entre Amodei et Gomez met en évidence une question qui pourrait devenir centrale dans la réglementation de l’intelligence artificielle.

Toute fois, les deux dirigeants conviennent qu’il faut des garde-fous, des évaluations et davantage de transparence. Leur désaccord porte surtout sur qui doit déterminer ces règles et à partir de quels risques.

Pour Anthropic, la rapidité des progrès justifie une coordination plus étroite des principaux développeurs, supervisée ou facilitée par les gouvernements, afin de donner à la recherche sur la sécurité le temps de suivre les capacités des modèles.

Pour Cohere, confier une partie de cette responsabilité aux entreprises qui disposent déjà des modèles, des infrastructures et des capitaux les plus importants risque de transformer un mécanisme de sécurité en barrière à l’entrée.

Derrière le débat sur la vitesse de l’IA apparaît donc une autre bataille, peut-être tout aussi importante : qui aura le pouvoir de décider ce qui constitue une IA suffisamment sûre pour être développée et déployée ?

Source : Cohere

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.