Sept ans après le scandale « Elsagate », où des vidéos dérangeantes mettant en scène des personnages pour enfants circulaient librement sur YouTube, une nouvelle vague déferle sur la plateforme. Cette fois, elle est alimentée par l’intelligence artificielle générative. Une enquête de WIRED révèle l’existence de dizaines de chaînes qui diffusent des vidéos animées où des minions, des chatons ou des personnages de dessins animés subissent des violences, sont torturés, sexualisés ou mis en scène dans des situations proches de la pornographie animée. Le tout, souvent présenté comme du contenu « fun » et « éducatif » pour les enfants.

Certaines chaînes comme « Go Cat » prétendent offrir des histoires colorées et imaginatives pour les jeunes. Pourtant, les vidéos publiées affichent un ton macabre, un esthétisme dérangeant et des mises en scène parfois proches de l’horreur corporelle. Des minions mutants attaquant des enfants, des chatons battus par leurs parents, ou encore des scènes médicales traumatisantes sont proposés sous des titres mignons et accrocheurs. Plusieurs vidéos reprennent même des thèmes et des formats caractéristiques de l’Elsagate d’origine, mais amplifiés par les capacités de production massive qu’offre aujourd’hui l’IA.

La facilité avec laquelle ces contenus sont créés et diffusés inquiète les experts en sécurité numérique. Grâce à des tutoriels sur la monétisation rapide et des outils comme les générateurs d’images ou de voix, n’importe qui peut produire ce type de contenu en quelques clics. Ces vidéos contournent souvent les filtres de YouTube en empruntant des balises populaires comme #familyfun ou #disneyanimatedmovies, ou en insérant des sons de bébés et des décors pastel, typiques des dessins animés pour bambins.

YouTube affirme avoir supprimé plusieurs chaînes signalées par WIRED, et suspendu la monétisation de certaines autres. Mais malgré des règles renforcées et une politique d’étiquetage obligatoire pour les contenus créés par IA, de nombreuses vidéos similaires persistent. Des chaînes supprimées réapparaissent rapidement sous d’autres noms, souvent avec les mêmes vidéos recyclées. Et le phénomène ne se limite plus à YouTube : des contenus similaires commencent à émerger sur TikTok, selon le média 404 Media.

Les organisations comme Common Sense Media tirent la sonnette d’alarme. Elles dénoncent l’ampleur du phénomène et la banalisation des violences représentées. Pour elles, cette nouvelle génération de vidéos représente un risque sérieux pour le bien-être psychologique des enfants, en exposant des publics vulnérables à des contenus choquants et inappropriés, déguisés en divertissement.

Les plateformes, de leur côté, reconnaissent les défis imposés par la création automatisée de vidéos. YouTube affirme avoir mis en place des « principes de qualité » pour encadrer les vidéos destinées aux enfants, et assure que la consommation de contenu « de qualité » sur YouTube Kids a augmenté de 45 % depuis leur mise en œuvre. Mais l’essentiel de ces vidéos problématiques circule toujours sur la plateforme principale, hors de la portée de YouTube Kids.

La rapidité avec laquelle l’IA peut produire ce type de contenu impose une remise en question urgente des mécanismes de modération. Car pour chaque vidéo supprimée, d’autres apparaissent, plus nombreuses et plus insidieuses. Le combat pour un web sûr pour les enfants devra désormais se jouer à l’intersection de la technologie, de la réglementation, de la responsabilité des créateurs — et de la vigilance parentale.

Source : Wired

++++

Tous les jours de la semaine, du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de tech.