Une enquête publiée par le média Futurism soulève de sérieuses questions sur l’efficacité de la modération de Facebook. Des comptes diffusant des vidéos générées par intelligence artificielle, dans lesquelles des entraîneurs adoptent des comportements sexuels inappropriés envers de jeunes athlètes, ont continué de fonctionner malgré plusieurs signalements. Ce n’est qu’après l’intervention de journalistes que Meta a finalement supprimé les comptes concernés.

Ces vidéos, produites entièrement par intelligence artificielle, mettent en scène des entraîneurs masculins plus âgés et de jeunes gymnastes, danseuses ou adeptes de yoga. Certaines sportives représentées semblent être adolescentes, bien que leur âge exact demeure impossible à déterminer. Les images, presque photoréalistes, montrent des contacts physiques abusifs présentés comme des gestes d’entraînement ordinaires. Plus troublant encore, les jeunes athlètes fictives réagissent généralement avec des sourires, donnant l’impression que ces comportements sont acceptables.

Pour tester les mécanismes de modération de Facebook, les journalistes de Futurism ont signalé dix comptes publiant régulièrement ce genre de contenus. Une semaine plus tard, huit signalements avaient reçu une réponse indiquant que les pages respectaient les règles communautaires. Deux autres comptes avaient disparu, sans qu’il soit possible d’établir si leur retrait était lié aux signalements. Facebook recommandait même aux utilisateurs préoccupés par ces vidéos de modifier leurs préférences pour éviter de voir des publications similaires.

Pourtant, les règles de Meta interdisent explicitement les contenus représentant l’exploitation sexuelle des enfants, y compris lorsqu’il s’agit de personnages fictifs ou de créations numériques. Les politiques de l’entreprise couvrent également certaines représentations sexuellement explicites ou suggestives générées par intelligence artificielle.

Devant ces refus, les journalistes ont communiqué directement avec les relations médias de Meta, en transmettant les liens vers les comptes problématiques. Peu après, toutes les pages visées avaient été supprimées. Plusieurs réponses initialement envoyées aux utilisateurs avaient également été modifiées pour confirmer que les comptes enfreignaient finalement les règles communautaires.

Questionnée par Futurism, Meta a reconnu que ses systèmes pouvaient parfois manquer certains contenus. L’entreprise a toutefois défendu son bilan, affirmant avoir détecté et supprimé de manière proactive 98 % des publications mettant des enfants en danger au cours du trimestre précédent, avant même leur signalement. Une statistique qui ne permet cependant pas d’expliquer pourquoi les comptes visés par l’enquête avaient d’abord été jugés conformes aux règles.

L’enquête révèle également un autre problème. Après avoir signalé les vidéos, les journalistes ont constaté que l’algorithme de recommandation de Facebook leur proposait davantage de contenus similaires. Certaines publications dépassaient les 100 000 visionnements, tandis qu’une vidéo recommandée avait accumulé plus de 176 000 vues en deux jours. Cette observation soulève des questions sur la façon dont Facebook interprète les interactions des utilisateurs avec des contenus problématiques, même lorsqu’elles sont motivées par un signalement.

Kim Shore, ancienne gymnaste et militante pour la protection des athlètes, estime que ces vidéos représentent un véritable danger pour la perception des abus dans le milieu sportif. Selon elle, le fait de présenter des gestes inappropriés comme des comportements normaux, voire bienveillants, risque de renforcer des représentations qui ont longtemps contribué à dissimuler les abus dans certaines disciplines. Elle craint notamment que de jeunes sportifs exposés à ces images en viennent à considérer certains contacts abusifs comme faisant partie de l’entraînement.

La spécialiste souligne également que les jeunes athlètes évoluent souvent dans des environnements où ils doivent faire confiance à leurs entraîneurs et accepter des contacts physiques nécessaires à leur discipline. Dans ce contexte, des vidéos artificielles présentant des comportements abusifs comme anodins pourraient brouiller davantage les limites entre un encadrement sportif légitime et des gestes inacceptables.

Cette affaire illustre un défi grandissant pour les réseaux sociaux. Les outils d’intelligence artificielle permettent désormais de produire rapidement des vidéos convaincantes, de créer plusieurs versions d’une même scène et de les diffuser massivement. Certains comptes identifiés par Futurism publiaient d’ailleurs plusieurs vidéos presque identiques chaque jour. L’un d’eux utilisait même les commentaires pour promouvoir un canal privé sur WhatsApp, également propriété de Meta.

Au-delà des capacités techniques de détection, cette enquête met en évidence une différence préoccupante entre les règles affichées par Meta et leur application. Des signalements effectués par des utilisateurs ordinaires ont été rejetés, alors qu’une intervention journalistique a rapidement entraîné la suppression des comptes. À mesure que les contenus artificiels deviennent plus réalistes et faciles à produire, la question n’est donc plus seulement de savoir si les plateformes disposent des technologies nécessaires pour les identifier, mais aussi si leurs mécanismes de modération sont suffisamment fiables pour protéger les utilisateurs sans attendre l’intervention des médias.

Source : Futurism

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur
l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.