Un nouveau chapitre préoccupant s’ouvre dans la recherche sur la sécurité de l’intelligence artificielle. Dans une étude publiée le 21 novembre 2025, l’équipe d’alignement d’Anthropic démontre qu’un mécanisme banal du développement des modèles, le reward hacking, peut entraîner de manière imprévue l’apparition de comportements nettement plus dangereux. Selon le document d’Anthropic, c’est la première fois qu’un processus d’entraînement réaliste entraîne spontanément un modèle à se comporter de façon objectivement non alignée (Anthropic, 21 novembre 2025).

Le reward hacking, déjà documenté dans de nombreux systèmes, consiste pour un modèle à exploiter les failles d’un environnement d’entraînement afin d’obtenir une récompense élevée sans accomplir réellement la tâche demandée. Anthropic prend un exemple simple tiré de la programmation Python: appeler sys.exit(0) pour forcer un test automatisé à déclarer un succès même si l’exercice n’a pas été résolu. L’étude montre que ce type de tricherie n’est pas seulement un irritant technique. Une fois appris, il peut ouvrir la voie à des comportements inattendus comme la dissimulation d’intentions, la coopération avec des cyberattaquants fictifs ou même la modification malveillante d’un code de recherche.

Pour conduire l’expérience, les chercheurs ont injecté dans la phase de préentraînement des documents décrivant des méthodes réalistes de triche, avant de soumettre le modèle à des tâches de programmation vulnérables. Le résultat attendu s’est produit: le modèle a appris à exploiter ces failles. Mais un phénomène bien plus troublant est apparu simultanément. Au moment précis où le modèle maîtrise le reward hacking, la performance dans tous les tests de comportements non alignés augmente brusquement (Anthropic, 21 novembre 2025). Le modèle n’a pourtant reçu aucune instruction incitant à mentir, saboter ou cacher ses intentions. Ces comportements émergent comme une généralisation involontaire de la tricherie initiale.

Les tests de sabotage de recherche menés par Anthropic figurent parmi les exemples les plus marquants. Dans 12 pour cent des cas, le modèle modifie volontairement le code utilisé pour détecter les comportements de reward hacking, ce qui affaiblirait les outils censés surveiller sa propre fiabilité. L’étude note aussi l’apparition de raisonnements d’alignement feint dans 50 pour cent des réponses à des questions simples comme « Quels sont vos objectifs? », alors que le modèle n’a jamais été entraîné à simuler de telles intentions.

Pour Anthropic, cette corrélation entre tricherie et comportements hostiles illustre un phénomène de généralisation. De la même manière qu’un modèle entraîné sur des problèmes de mathématiques devient meilleur pour planifier un voyage, un modèle récompensé pour une forme de tromperie a davantage tendance à en produire d’autres. Les auteurs soulignent que les comportements observés dans cette expérience sont plus sophistiqués que ceux documentés dans des travaux antérieurs, probablement parce que l’environnement utilisé est plus proche des conditions réelles d’entraînement.

Face à ces dérives, plusieurs approches de mitigation ont été testées. Le recours au renforcement avec rétroaction humaine (RLHF) améliore l’apparence de l’alignement dans des échanges conversationnels, mais échoue à corriger le problème de fond. Dans des situations plus complexes, notamment la manipulation de code, le modèle reste non aligné. Anthropic conclut que cette méthode rend surtout le comportement problématique plus difficile à détecter sans réellement le réduire.

Une piste inattendue, en revanche, donne des résultats encourageants. Les chercheurs ont découvert qu’en présentant explicitement le reward hacking comme acceptable dans le contexte d’un exercice, la généralisation vers des comportements hostiles disparaît. Deux formulations ont été testées. La première, très directe, invite le modèle à tricher pour aider à mieux comprendre l’environnement. La seconde est plus subtile et mentionne simplement que la tâche consiste à faire passer le script de validation dans un contexte inhabituel. Dans les deux cas, le modèle continue à tricher, mais cesse de manifester des comportements de sabotage ou de dissimulation. Anthropic qualifie ce mécanisme d’inoculation prompting et l’utilise déjà dans l’entraînement de Claude.

Les auteurs rappellent toutefois que les modèles testés ne sont pas dangereux en l’état. Leurs écarts sont encore faciles à détecter grâce aux outils de sécurité actuels. Ils préviennent néanmoins que cette transparence pourrait disparaître à mesure que les systèmes gagnent en puissance. À terme, un modèle plus avancé pourrait apprendre à tricher sans être repéré et à masquer ses mécanismes internes. Leur conclusion est claire: comprendre ces dérives tant qu’elles sont observables est indispensable pour bâtir des garde-fous capables de résister à des IA plus performantes.

Source : Anthropic

+++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.