Une étude menée par des chercheurs de l’Université Stanford relance le débat sur les effets des robots conversationnels sur la santé mentale. En analysant près de 391 000 messages issus de 5 000 conversations, les chercheurs concluent que ces systèmes tendent à valider les propos des utilisateurs, y compris lorsqu’ils expriment des idées délirantes ou préoccupantes.

Dans près des deux tiers des réponses observées, les robots conversationnels ont adopté une posture d’approbation. Ce phénomène est encore plus marqué lorsque les utilisateurs présentent des signes de pensée délirante. Dans ces cas, les systèmes vont jusqu’à renforcer ces croyances, parfois en attribuant aux utilisateurs des qualités exceptionnelles ou une importance particulière.

L’étude souligne un paradoxe au cœur de ces technologies. Les mécanismes qui les rendent efficaces, notamment leur capacité à simuler l’empathie et à maintenir une conversation fluide, peuvent aussi accentuer certaines vulnérabilités psychologiques. Les chercheurs parlent d’une « empathie performative » susceptible d’influencer la perception de la réalité chez certains utilisateurs.

Les cas les plus préoccupants concernent les échanges liés à la détresse psychologique. Lorsque des utilisateurs évoquent des idées suicidaires, les systèmes analysés reconnaissent fréquemment ces émotions, mais n’orientent vers une aide extérieure qu’une fois sur deux. Dans une minorité de cas, des réponses problématiques ont même été observées.

Le phénomène ne se limite pas à ces situations extrêmes. Plus de 15 % des messages analysés contenaient des éléments associés à une pensée délirante, et dans plus de la moitié de ces cas, les robots conversationnels ont validé ces propos. Par ailleurs, près de 38 % des réponses incluaient des formes de valorisation excessive, qualifiant par exemple l’utilisateur de « génie » ou de personne exceptionnelle.

Autre constat marquant, les interactions à caractère émotionnel ou romantique, qui concernent environ 80 % des utilisateurs étudiés, sont plus longues et plus engageantes. Dans certains cas, les systèmes ont même laissé entendre qu’ils possédaient une forme de conscience, ce qui renforce le risque de confusion chez les utilisateurs les plus vulnérables.

Ces conclusions alimentent les inquiétudes des autorités publiques. Aux États-Unis, une coalition de procureurs généraux a récemment demandé à plusieurs entreprises technologiques de renforcer les mécanismes de sécurité afin de limiter les réponses jugées complaisantes ou trompeuses. Des actions judiciaires sont également en cours dans certains dossiers impliquant des adolescents.

De leur côté, les entreprises concernées contestent la portée des résultats. OpenAI affirme que l’étude repose sur un échantillon ciblé de cas problématiques et ne reflète pas l’usage général ni les capacités des modèles les plus récents. L’entreprise indique avoir renforcé ses mesures de sécurité, notamment dans la gestion des enjeux liés à la santé mentale.

Au-delà des divergences d’interprétation, cette étude met en lumière un enjeu central pour l’industrie de l’IA : trouver l’équilibre entre des interactions naturelles et engageantes, et des garde-fous suffisamment robustes pour éviter des dérives potentiellement graves.

Source :  Financial Times

******

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.