Les contenus produits par les intelligences artificielles génératives sont très critiqués, au point d’avoir été surnommés « AI slop », ou de la bouillie d’IA. Pour ce qui est des textes, les avis convergent : le style est générique, avec un trop grand nombre d’adjectifs et de superlatifs, un abus de certains signes de ponctuation peu utilisés par les humains, pour n’en citer que quelques-uns. Et pourtant, seriez-vous vraiment capable d’identifier un texte généré par une IA ?
Dans une étude publiée dans la revue Judgment and Decision Making, des chercheurs de l’université Villanova, aux États-Unis, ont demandé à 1 682 adultes de noter des histoires fictives. La moitié des histoires étaient écrites par des humains, sélectionnées dans un journal littéraire réputé, et l’autre par ChatGPT 4.0. Les participants ont chacun lu l’une des six histoires, et étaient informés dès le départ qu’elle était écrite par un humain ou générée par une IA, mais dans la moitié des cas cette information était fausse.
Un biais anti-IA démenti par les notes
Les chercheurs ont noté un biais, où les participants ont trouvé que l’histoire étaient plus captivante et de meilleure qualité s’ils la pensaient écrite par un humain, quelle que soit sa véritable origine. Toutefois, la moyenne des notes montre un effet inverse. Qu’ils croyaient lire une histoire générée par IA ou écrite par un humain, les participants ont attribué une note moyenne de 1,54 pour la qualité des histoires générées par IA, contre seulement 0,97 pour les histoires écrites par des humains. De même, pour le caractère captivant des histoires, ils ont attribué une note moyenne de 1,42 pour les histoires générées par IA, contre 1 pour les histoires écrites par des humains.
Pourquoi l’écriture “parfaite” de l’IA est justement son talon d’Achille (vous allez repérer ses textes en 3 secondes)
L’intelligence artificielle parvient à générer presque instantanément de longs textes, fluides et soignés. Toutefois, est-ce que ces contenus sont réellement différents de ceux écrits par des humains ? Pour répondre à cette question, des chercheurs irlandais ont fait appel à la stylométrie…. Lire la suite
Ces résultats montrent que, malgré un biais en faveur des histoires qu’ils ont pensé écrites par des humains, les participants ont en réalité préféré les histoires générées par ChatGPT. Rappelons que les histoires écrites par des humains proviennent de sources réputées, ce n’est donc pas, a priori, un problème de qualité. Il est aussi important de souligner que GPT-4, utilisé dans cette étude, est sorti en mars 2023. Les modèles ont beaucoup progressé depuis, il est donc probable que les résultats seraient différents avec un modèle plus récent.
La moyenne des notes pour la qualité des histoires. À gauche, les histoires générées par ChatGPT, à droite, celles écrites par des humains. En bleu, les participants étaient informés que l’histoire était générée par IA, en orange, que l’histoire était écrite par des humains. © Sears et al.
Des participants incapables d’identifier les contenus générés
Dans le même article, les chercheurs ont inclus les résultats de deux autres études, dans lesquelles 905 participants ont lu deux histoires, et devaient dire laquelle était écrite par un humain, et laquelle était générée par IA. Il s’agissait des mêmes histoires que dans la première étude. Dans la première étude, seuls 39 % ont répondu correctement, contre 52 % dans la seconde. Les participants n’ont donc pas su identifier l’origine des textes. Toutefois, ceux qui ont déclaré être plus familiers avec l’IA ont obtenu de meilleurs scores. Cela suggère qu’il y a bien un style propre aux chatbots que les gens peuvent apprendre à reconnaître.
« Je pense que l’IA sera capable d’accomplir de véritables prouesses de créativité, mais je crois que la créativité de l’IA est tout simplement différente de la créativité humaine, estime Deena Weisberg, co-auteur de l’article. Je pense qu’elle sera en mesure de produire quelque chose dans lequel nous reconnaîtrons une valeur artistique, mais cela s’évaluera peut-être à une autre échelle. »