Les lecteurs préfèrent parfois les nouvelles écrites par l’IA, sans le savoir

Une étude publiée dans la revue scientifique Judgment and Decision Making révèle que des nouvelles générées par ChatGPT peuvent être jugées plus captivantes et de meilleure qualité que des textes écrits par des auteurs humains. Mais les résultats mettent aussi en évidence un paradoxe : les lecteurs apprécient davantage une histoire lorsqu’ils croient qu’elle a été écrite par une personne.

Les chercheuses Sydney Sears et Deena Skolnick Weisberg, de l’Université Villanova en Pennsylvanie, ont mené trois expériences auprès de 2 587 adultes américains. Leur objectif était de déterminer si les participants pouvaient différencier une nouvelle littéraire écrite par un humain d’un texte produit par ChatGPT.

Dans la première expérience, 1 682 participants ont chacun lu l’une des six nouvelles sélectionnées. Trois provenaient de recueils ou de revues littéraires, tandis que trois autres avaient été générées par ChatGPT 4 à partir de consignes reprenant les thèmes et certaines caractéristiques des textes humains.

Les participants ont attribué de meilleures notes aux histoires générées par l’intelligence artificielle, tant pour leur qualité générale que pour leur capacité à retenir l’attention. Sur une échelle allant de -3 à 3, les nouvelles produites par ChatGPT ont obtenu une note moyenne de 1,54 pour la qualité, contre 0,97 pour celles écrites par des humains.

Toutefois, l’étiquette apposée au texte influençait fortement les perceptions. Qu’une nouvelle soit réellement humaine ou artificielle, elle était mieux évaluée lorsque les participants croyaient qu’elle avait été écrite par une personne. Les chercheurs y voient une forme de méfiance persistante envers la création automatisée.

Les deux expériences suivantes ont demandé à 905 personnes de lire une paire de nouvelles, l’une humaine et l’autre générée par ChatGPT, puis d’identifier leur origine. Dans une première expérience, seulement 39,4 % des participants ont répondu correctement, un résultat inférieur au hasard. Dans la suivante, le taux de réussite a atteint 52 %, ce qui ne constitue pas une performance statistiquement supérieure au hasard.

Les lecteurs qui disaient se fier à la simplicité du langage ou au plaisir ressenti étaient même plus susceptibles de se tromper. À l’inverse, une plus grande connaissance des systèmes d’intelligence artificielle améliorait légèrement les chances de reconnaître leur style. L’expérience en littérature ou en analyse de textes n’avait toutefois aucun effet mesurable.

Selon les chercheuses, les textes générés par l’IA pourraient être favorisés parce qu’ils sont généralement plus fluides, plus prévisibles et plus faciles à comprendre. Les modèles linguistiques combinent des structures fréquemment rencontrées dans leurs données d’entraînement, ce qui peut produire des histoires accessibles et dépourvues de certaines aspérités stylistiques propres aux auteurs humains.

Cette préférence ne signifie cependant pas que l’IA maîtrise l’ensemble du processus créatif. L’étude évaluait uniquement des nouvelles d’environ 1 000 mots. Elle ne permet donc pas de savoir si les modèles peuvent maintenir la cohérence d’une intrigue, développer des personnages complexes ou soutenir une voix originale sur la longueur d’un roman.

Les chercheuses constatent également que les productions des modèles tendent à être plus homogènes. Les créations humaines sont plus inégales, mais aussi plus diversifiées, ce qui leur permet d’explorer davantage de formes, d’idées et de styles.

L’étude ne conclut donc pas que les machines peuvent remplacer les écrivains. Elle montre plutôt que, dans le format précis de la nouvelle courte, les lecteurs ordinaires ne parviennent généralement plus à reconnaître l’origine d’un texte. Elle révèle aussi que la réputation de l’auteur, humain ou artificiel, continue d’influencer le jugement autant que les mots eux-mêmes.

Source : Judgment and Decision Making

+++++++