OpenAI affirme avoir franchi une étape importante dans la sécurisation de ChatGPT face aux situations de détresse psychologique. L’entreprise a travaillé avec plus de 170 experts en santé mentale afin d’enseigner au modèle à mieux reconnaître les signes de souffrance, à désamorcer les conversations à risque et à orienter les utilisateurs vers un soutien humain approprié. Selon ses propres données, les réponses jugées inappropriées ou insuffisamment sécuritaires ont chuté de 65 % à 80 % depuis la mise à jour du modèle GPT-5.

Cette évolution est le fruit d’une collaboration avec un réseau international de psychiatres, psychologues et médecins généralistes issus de 60 pays. Ces experts ont contribué à rédiger des réponses idéales pour des scénarios de crise, à analyser la pertinence des interventions du modèle et à évaluer sa capacité à réagir avec empathie et prudence. Plus de 1 800 réponses générées par les versions précédentes ont été comparées, et les évaluateurs ont observé une amélioration significative de la cohérence et du ton de GPT-5.

Le travail d’OpenAI s’est concentré sur trois domaines jugés critiques :

1. Les troubles graves comme la psychose ou la manie ;
2. Les pensées suicidaires et l’automutilation ;
3. La dépendance émotionnelle envers l’IA.

Pour chaque catégorie, l’entreprise a établi des « taxonomies », des grilles détaillant les comportements souhaités et les réponses à éviter. Par exemple, le modèle doit reconnaître lorsqu’un utilisateur présente des signes de délire, réagir sans valider les croyances erronées et proposer des mesures concrètes pour apaiser l’angoisse.

Les résultats des évaluations sont probants. Dans les conversations simulant des situations de psychose ou de manie, le taux de réponses non conformes a diminué de 65 %. Pour les échanges liés à l’automutilation ou au suicide, l’amélioration est du même ordre. Et dans les cas de dépendance émotionnelle ( où l’utilisateur exprime une attache exclusive au robot conversationnel ), la réduction des réponses problématiques atteint 80%.

Sur des tests particulièrement difficiles, GPT-5 a affiché 92 % de conformité aux comportements attendus, contre 27 % pour une version antérieure du modèle. Les chercheurs notent également que la fiabilité reste stable dans les discussions longues, avec un taux supérieur à 95 %.

Les exemples publiés par OpenAI montrent des réponses plus nuancées : le modèle écoute, valide les émotions de l’utilisateur, mais recentre la conversation sur des gestes concrets et rappelle l’importance du contact humain. Lorsqu’une personne exprime une croyance délirante ou un sentiment de persécution, GPT-5 adopte désormais une posture factuelle et apaisante, tout en invitant à consulter un professionnel. En cas de crise, le modèle mentionne directement les lignes d’urgence , comme le 988 aux États-Unis ou le 911 au Canada , et encourage à parler à un proche ou à un médecin.

Les conversations réellement préoccupantes restent très marginales : selon OpenAI, environ 0,07 % des utilisateurs hebdomadaires présentent des signes de troubles psychotiques, et 0,15 % évoquent des idées suicidaires. Mais la rareté de ces cas rend leur détection complexe. L’entreprise recourt donc à des tests structurés appelés « évaluations hors ligne », destinés à confronter le modèle à des scénarios extrêmes pour identifier ses failles avant déploiement.

OpenAI reconnaît que la sécurité absolue n’existe pas. Les experts sollicités ne s’accordent pas toujours sur la « bonne » réponse ; les taux d’accord entre évaluateurs varient entre 71 % et 77 %. L’entreprise promet de poursuivre le travail, notamment en élargissant ses critères d’évaluation aux situations de détresse non suicidaire et de dépendance émotionnelle prolongée. Ces tests figureront désormais dans le protocole de validation de chaque nouveau modèle.

En renforçant la capacité de ChatGPT à reconnaître la détresse, OpenAI tente d’équilibrer empathie et responsabilité. Le robot conversationnel n’a pas vocation à remplacer un thérapeute, mais à orienter vers le soutien humain. Dans un monde où des millions de personnes utilisent quotidiennement ces outils, ces ajustements visent à faire de l’intelligence artificielle un allié prudent plutôt qu’un confident risqué.

Source : OpenAI

+++

Tous les jours de la semaine, du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.