Pangram, le détecteur d’IA qui sème le doute dans l’édition

L’actualité du jour m’amène à vous parler de Pangram, le logiciel de détection de textes générés par intelligence artificielle. Aujourd’hui, c’est l’écrivain canado-haïtien Thélyson Orélien qui en est la victime. Son roman C’était ça ou mourir, couronné du Prix du Roman Fnac, est la cible d’accusations publiées sur X par le compte pseudonyme et anonyme « Balance ton Claude », qui affirme avoir soumis des extraits du livre à Pangram et obtenu des résultats indiquant une forte probabilité de contenu généré par intelligence artificielle. Orélien nie avoir utilisé l’IA pour écrire son roman et son éditeur Grasset rejette les accusations. L’affaire illustre parfaitement le pouvoir que commencent à exercer les détecteurs d’IA dans le milieu de l’édition, alors même que leur verdict ne constitue pas une preuve absolue de l’origine d’un texte.

Au centre de cette nouvelle réalité se trouve Pangram, une entreprise de Brooklyn fondée en 2023 par Max Spero et Bradley Emi. Une jeune société de 24 employés qui s’est rapidement imposée parmi les acteurs les plus visibles de la détection de textes générés par IA. Elle est utilisée notamment dans l’édition, l’éducation et le recrutement. Après une ronde de financement de 9 millions de dollars américains annoncée cet été, Pangram cherche maintenant à faire de sa technologie une sorte de système de vérification de l’authenticité des textes à grande échelle.

Sa plus récente technologie, Pangram 4, a été lancée en juillet dernier. Contrairement à un simple outil recherchant quelques tournures caractéristiques de ChatGPT, le système utilise un modèle entraîné pour distinguer différentes formes d’écriture humaine et artificielle. Il peut classer des documents entièrement générés par IA, mais également reconnaître des textes mixtes dans lesquels humains et machines ont contribué à différentes sections. Pangram précise cependant que son modèle est conçu pour analyser de la prose composée de phrases complètes et exige un minimum de 50 mots.

Les performances annoncées sont spectaculaires. Dans ses propres tests, Pangram affirme que sa quatrième génération reconnaît correctement 99,66 % des documents entièrement générés par IA. Sur un corpus d’un million de textes humains en anglais, l’entreprise rapporte 41 faux positifs, soit un taux de 0,0041 %, environ une erreur pour 24 000 documents. Pangram affirme également reconnaître une intervention de l’IA dans 98,83 % des textes générés puis transformés par 13 outils commerciaux destinés à rendre l’écriture artificielle plus humaine. Encore là, attention, il s’agit de résultats qui proviennent des propres bancs d’essai de Pangram et ne constituent pas une validation indépendante.

Celà étant dit, une étude indépendante apporte un appui sérieux à une version antérieure de la technologie. En 2025, Brian Jabarian et Alex Imas, chercheurs à l’Université de Chicago, ont comparé Pangram, GPTZero, OriginalityAI et un modèle open source appelé RoBERTa sur un corpus de 1 992 passages comprenant des nouvelles, des blogues, des romans, des CV et des commentaires de consommateurs. Pangram y obtenait des taux de faux positifs et de faux négatifs proches de zéro pour les textes de longueur moyenne ou importante et résistait mieux aux techniques utilisées par StealthGPT pour camoufler du texte artificiel. Les chercheurs insistaient néanmoins sur le compromis inévitable entre détecter davantage de contenu généré par IA et augmenter le risque d’accuser à tort un auteur humain. Cette étude précède Pangram 4 et ne permet donc pas d’attribuer automatiquement les mêmes performances à la version actuelle.

Les limites deviennent particulièrement importantes lorsque Pangram est utilisé sur quelques paragraphes isolés d’un roman. L’entreprise reconnaît elle-même qu’un passage identique peut obtenir un résultat différent lorsqu’il est analysé seul ou replacé dans un document plus long. Autrement dit, un résultat obtenu en copiant quelques extraits d’un livre ne permet pas nécessairement de tirer une conclusion sur l’ensemble de l’œuvre. Cette réserve est particulièrement pertinente dans une affaire comme celle de Thélyson Orélien, où les accusations publiques reposent sur l’analyse de passages sélectionnés.

Mais le problème lié à l’utilisation de ce type de logiciel, et au doute qu’il sème, dépasse largement le cas de Pangram. En 2023, l’Université Vanderbilt avait décidé de désactiver le détecteur d’intelligence artificielle de Turnitin en raison des risques de faux positifs et du manque de transparence entourant son fonctionnement. Turnitin annonçait alors un taux de faux positifs de 1 %. Vanderbilt avait calculé que, sur les quelque 75 000 travaux transmis à Turnitin en 2022, un tel taux aurait pu conduire à environ 750 travaux incorrectement signalés comme contenant du texte généré par IA. L’université estimait donc qu’un détecteur ne devait pas être considéré comme une preuve suffisante pour accuser un étudiant.

C’est finalement ce que rappelle l’affaire Orélien. Pangram est aujourd’hui l’un des détecteurs d’IA les plus performants parmi ceux qui ont fait l’objet d’évaluations indépendantes, mais son résultat demeure une estimation statistique. Le logiciel ne retrouve pas une signature secrète laissée par ChatGPT, Claude ou Gemini. Il tente d’identifier des caractéristiques correspondant aux textes artificiels qu’il a appris à reconnaître. Dans le monde de l’édition, où une accusation peut désormais mettre en doute en quelques heures le travail et la réputation d’un auteur, la distinction est essentielle. Pangram peut fournir un signal justifiant une vérification plus approfondie. Il ne peut pas, à lui seul, établir qui a réellement écrit un livre.

Sources : Wired, Pangram, uchicago, Vanderbilt