Mila et ROOST lancent un premier projet pilote destiné à rendre les agents conversationnels d’intelligence artificielle plus sécuritaires pour les jeunes. Le nouvel outil, appelé Filtre de sécurité pour la prévention du suicide de Mila, vise à aider les développeurs à repérer les réponses d’un agent conversationnel qui pourraient encourager, orienter ou mal encadrer des propos liés au suicide.

L’annonce a été faite aujourd’hui à Montréal. Le projet est développé avec ROOST, pour Robust Open Online Safety Tools, une organisation indépendante à but non lucratif qui travaille sur des outils de sécurité numérique à code source ouvert. Il s’agit du premier livrable concret du partenariat annoncé en juin 2026 par Mila et ROOST, en marge de la réunion des ministres du Numérique du G7 à Paris. Mila indiquait alors que cette collaboration devait porter d’abord sur la sécurité des jeunes dans leurs interactions avec les agents conversationnels, notamment lorsque des échanges peuvent toucher à l’automutilation ou au suicide.

L’objectif n’est pas de remplacer les soins professionnels, les ressources de crise ou la supervision humaine. Le filtre se veut plutôt une couche de protection supplémentaire pour les développeurs qui conçoivent des agents conversationnels. Dans sa première version, l’outil analyse les réponses générées par l’IA, une à la fois, afin d’aider à détecter celles qui pourraient être non sécuritaires dans un contexte de santé mentale.

Mila et ROOST estiment que les filtres de contenu généralistes ne suffisent pas toujours. Les risques liés au suicide peuvent apparaître dans des formulations ambiguës, du langage codé ou des tentatives de contournement des règles de sécurité. Le problème devient plus délicat à mesure que des jeunes utilisent des robots conversationnels pour chercher de l’information, du soutien ou simplement une forme de compagnie.

Ce projet s’inscrit dans un mouvement plus large autour de la sécurité de l’IA appliquée à la santé mentale. Un document de travail publié en mai 2026 par Emily Saltz et Claire R. Leibowicz, associé à un atelier du Partnership on AI, rappelait que les robots conversationnels servent déjà, de facto, d’outils de soutien en santé mentale pour des millions d’utilisateurs, sans toujours disposer d’une validation clinique, de normes communes ou d’un encadrement coordonné.

La prudence reste donc essentielle. Un filtre automatisé ne peut pas comprendre toute la complexité d’une situation de détresse, ni remplacer une intervention humaine qualifiée. Il peut toutefois aider à réduire certains risques, notamment lorsque des systèmes d’IA sont déployés à grande échelle et utilisés par des publics vulnérables.

Le filtre de Mila est publié en version préliminaire et sera rendu accessible aux développeurs dans l’écosystème d’outils de ROOST. Les prochaines étapes devraient viser des protections plus contextuelles, capables d’évaluer non seulement une réponse isolée, mais aussi l’évolution d’une conversation sur une plus longue période.

Pour Mila, il s’agit aussi du premier d’une série de filtres prévus par son Studio de sécurité en intelligence artificielle. Lancé en octobre 2025, ce studio travaille sur des outils destinés à détecter et bloquer certains contenus générés par IA jugés dangereux pour les jeunes.

Cette initiative arrive dans un contexte où les plateformes, les laboratoires d’IA et les pouvoirs publics sont de plus en plus pressés de démontrer que les agents conversationnels peuvent être encadrés de manière plus rigoureuse. La promesse de Mila et ROOST est celle d’un outil ouvert, auditable et améliorable par la communauté. Son efficacité devra maintenant être testée, documentée et confrontée aux usages réels.

+++++++

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.