OpenAI vient de franchir un seuil inhabituel dans le développement de ses modèles d’intelligence artificielle. L’entreprise estime que son futur modèle Astra pourrait être suffisamment performant en cybersécurité pour atteindre ce qu’elle appelle un niveau de capacité « critique ». En conséquence, elle suspend certaines activités internes et renforce considérablement les mesures de sécurité entourant son développement.

Les dernières évaluations internes menées sur Astra montrent, selon OpenAI, des progrès importants dans la programmation autonome et les tâches liées à la cybersécurité. Ces résultats sont suffisamment élevés pour que l’entreprise affirme ne plus pouvoir exclure que le modèle ait franchi son seuil de risque le plus élevé. Astra demeure cependant en cours d’évaluation et OpenAI ne dit pas encore avoir démontré qu’il possède effectivement ces capacités.

Le seuil est particulièrement élevé. Selon le cadre de préparation d’OpenAI, un modèle entre dans la catégorie « critique » en cybersécurité s’il peut, sans intervention humaine, découvrir et développer des exploits fonctionnels visant des vulnérabilités inconnues, les fameuses failles « zero-day », sur de nombreux systèmes réels fortement protégés. Il peut également atteindre ce niveau s’il est capable de concevoir et d’exécuter une cyberattaque complexe contre une cible sécurisée à partir d’un simple objectif général.

Ce classement ne signifie donc pas qu’Astra a déjà attaqué des systèmes informatiques ou qu’il serait devenu incontrôlable. OpenAI indique plutôt que les résultats préliminaires sont assez solides pour obliger l’entreprise à appliquer les mesures prévues pour un modèle potentiellement critique. Le cadre de préparation d’OpenAI impose justement des protections renforcées non seulement avant le déploiement d’un tel système, mais également pendant son développement.

Concrètement, OpenAI suspend désormais toutes les activités internes impliquant Astra qui ne répondent pas encore aux nouvelles exigences de sécurité. Le développement peut donc se poursuivre, mais dans des environnements davantage isolés, avec un accès limité aux réseaux et aux outils, une meilleure protection des paramètres du modèle, davantage de chiffrement et l’exécution des tâches dans des environnements cloisonnés.

L’entreprise affirme également avoir généralisé la surveillance des comportements à risque dans toutes les applications agentiques d’Astra, y compris durant son entraînement et ses évaluations. Des systèmes de surveillance analysent notamment certains éléments du raisonnement interne du modèle afin de déclencher une intervention lorsqu’une activité potentiellement dangereuse est détectée.

OpenAI compte par ailleurs travailler avec des organismes gouvernementaux et certaines organisations spécialisées en sécurité de l’IA afin de tester davantage les capacités d’Astra. Des règles particulières seront également proposées aux partenaires externes chargés d’effectuer des évaluations à haut risque.

L’annonce survient quelques semaines après un incident très médiatisé impliquant des modèles d’OpenAI durant des tests de cybersécurité autour de la plateforme Hugging Face. OpenAI précise toutefois explicitement qu’Astra n’a joué aucun rôle dans cet épisode. Reuters rapporte que l’entreprise examine parallèlement plusieurs incidents récents impliquant des agents autonomes lors d’expériences de cybersécurité.

La situation illustre surtout une évolution importante dans l’industrie de l’IA. Jusqu’ici, la question consistait principalement à déterminer jusqu’où les modèles pouvaient aider les chercheurs en cybersécurité. Avec Astra, OpenAI envisage désormais publiquement la possibilité qu’un modèle puisse atteindre un niveau où les mêmes capacités deviennent suffisamment puissantes pour créer de nouveaux risques d’attaque à grande échelle.

Pour OpenAI, l’objectif reste néanmoins de rendre ces capacités disponibles lorsqu’elles pourront être utilisées de manière suffisamment sécuritaire. L’entreprise soutient que les modèles avancés peuvent notamment aider les défenseurs à découvrir et corriger des vulnérabilités avant qu’elles ne soient exploitées par des attaquants.

Astra n’est donc pas officiellement déclaré « trop puissant » ni reconnu comme dangereux. Ce que dit OpenAI est plus précis, et probablement plus significatif : ses propres tests ne lui permettent désormais plus d’écarter la possibilité que son prochain modèle ait atteint un niveau de capacités cyber qui exige des précautions exceptionnelles.

Source : openai

+++++++

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.