Qui n’a jamais consulté une page sur le Web en se disant que le style n’avait rien d’humain ? Le texte était trop lisse, et manquait d’un petit quelque chose. Des chercheurs de l’University College Cork ont voulu voir si l’intelligence artificielle était capable d’écrire comme un humain. Dans un article publié dans la revue Humanities and Social Sciences Communications, ils ont analysé des histoires écrites par des humains et des IA à l’aide de la stylométrie, un outil statistique qui permet de créer une empreinte digitale d’un texte d’après son style.

Les chercheurs se sont intéressés aux performances de GPT-3.5, GPT-4 et Llama 70b en se basant sur le Delta de Burrows. Leurs résultats montrent une différence nette entre les styles des modèles de langage et des humains. Les différentes productions se retrouvent regroupées selon leur origine, chaque modèle présentant une écriture très uniforme. Pour les textes écrits par des humains, les styles étaient beaucoup plus variables et individuels.  

Représentation de l’analyse de style utilisant le Delta de Burrows. Les productions des humains, en vert, sont distinctes de celles des IA. © O’Sullivan / Humanit Soc Sci Commun

L’IA écrit de façon trop prévisible

Dans certains cas, GPT-3.5 peut se rapprocher du style d’écriture des humains, mais c’est assez rare. En général, l’IA produit un style prévisible et compact, contre plus de variété dans les textes écrits par des humains. « Bien que l’écriture générée par l’IA soit souvent soignée et cohérente, elle tend à présenter une plus grande uniformité dans le choix des mots et le rythme. En revanche, l’écriture humaine demeure plus variée et personnelle, reflétant les habitudes, les préférences et les choix créatifs de chacun », indique James O’Sullivan, qui a dirigé l’étude.

Toutefois, il met en garde contre l’utilisation de la stylométrie pour déterminer si un texte a été généré par IA. Cet outil permet d’analyser un corpus de textes, mais n’est pas fiable au niveau de l’individu, dont le style varie en fonction du temps, de la tâche et de sa situation ou de son humeur.