Une nouvelle fenêtre sur les « pensées » internes des modèles d’IA

Des chercheurs d’Anthropic affirment avoir identifié, dans de grands modèles de langage, une forme d’espace de travail interne où certaines idées deviennent disponibles pour être rapportées, manipulées et utilisées dans le raisonnement.

L’idée centrale est à la fois technique et fascinante. Selon les chercheurs, les modèles de langage ne traiteraient pas toute l’information de la même manière. Une grande partie du calcul resterait automatique, invisible et difficile à interpréter. Mais une petite portion des représentations internes formerait un espace privilégié, que l’équipe appelle le J-space. Cet espace contiendrait des concepts que le modèle est prêt à verbaliser, même s’ils ne se retrouvent pas nécessairement dans sa réponse finale.

Pour observer ce phénomène, l’équipe propose une nouvelle méthode d’interprétabilité appelée Jacobian lens, ou J-lens. Cette technique cherche à repérer, à différentes couches du modèle, les directions internes qui augmentent la probabilité que certains mots ou concepts soient exprimés plus tard. En simplifiant, il s’agit d’une façon de lire ce que le modèle semble garder disponible dans son espace de raisonnement, avant même qu’il ne produise une réponse.

Les chercheurs comparent ce mécanisme à la théorie du global workspace, une théorie connue en sciences cognitives selon laquelle certaines informations deviennent accessibles à plusieurs processus mentaux lorsqu’elles entrent dans un espace de travail commun. Anthropic demeure toutefois prudent. L’équipe ne prétend pas que Claude ou d’autres modèles sont conscients. Elle précise que la recherche porte sur une analogie fonctionnelle avec l’accès conscient, et non sur l’expérience subjective ou la conscience phénoménale.

Cette prudence est importante. Dans le cerveau humain, la théorie de l’espace de travail global suppose souvent des interactions récurrentes entre différentes régions spécialisées. Or, un modèle de langage de type transformeur ne fonctionne pas de cette manière. Anthropic reconnaît que plusieurs éléments de l’architecture humaine n’ont pas d’équivalent direct dans ces modèles. Le parallèle porte donc sur certaines fonctions, pas sur une équivalence biologique ou philosophique.

Les exemples rapportés par les chercheurs donnent toutefois une idée de l’intérêt de cette approche. Le J-lens peut faire apparaître des concepts que le modèle n’exprime pas directement : la reconnaissance d’un bogue dans du code, l’identification d’un résultat de recherche suspect comme possible injection de prompt, ou encore des réactions internes liées à des scénarios d’évaluation. Dans certains tests, les chercheurs affirment avoir observé des traces de raisonnements stratégiques ou de réactions comme la panique, même lorsque ces éléments n’apparaissaient pas dans la réponse produite par le modèle.

L’enjeu dépasse la curiosité scientifique. Si ces représentations internes peuvent être lues de manière fiable, elles pourraient servir à mieux auditer les modèles d’IA. Anthropic estime que le J-lens pourrait aider à repérer certaines formes de raisonnement problématique, par exemple des stratégies cachées ou des comportements mal alignés. Mais les chercheurs refusent d’en faire une solution complète. Ils indiquent clairement que certains comportements pourraient ne pas passer par cet espace, surtout s’ils deviennent automatiques ou s’ils ne correspondent pas à des concepts faciles à nommer avec un seul jeton du vocabulaire du modèle.

La méthode comporte aussi des limites techniques. Le J-lens lit surtout des concepts qui peuvent être associés à des mots uniques dans le vocabulaire du modèle. Des notions composées, comme « prompt injection », peuvent apparaître sous forme de fragments séparés. De plus, certaines lectures demeurent difficiles à interpréter, et les chercheurs ne savent pas toujours si cela tient au bruit de la méthode, à des concepts mal nommés ou à des représentations que les humains ne reconnaissent pas encore.

Cette recherche s’inscrit dans une tendance plus large : rendre les grands modèles moins opaques. Après des années à traiter les réseaux neuronaux comme des boîtes noires, les laboratoires cherchent maintenant à comprendre non seulement ce que les modèles répondent, mais aussi comment ils organisent l’information en interne. Ici, Anthropic avance que certains raisonnements silencieux pourraient devenir observables, manipulables et peut-être modifiables.

Le résultat ne permet pas de conclure qu’une IA « pense » comme un humain. Il suggère plutôt que les grands modèles développent des structures internes utiles pour organiser leur raisonnement. Pour la sécurité de l’IA, c’est une piste importante. Pour le débat sur la conscience artificielle, c’est une pièce de plus, mais certainement pas une preuve définitive.

Source : Transformer-circuits

+++++++