Les IAIA des chatbots savent tellement bien s’exprimer que leurs réponses semblent toujours crédibles et convaincantes. Or, depuis leur démocratisation, les exemples que Futura relate régulièrement montrent qu’elles se trompent, ou qu’elles hallucinent. Elles inventent des faits, des citations et sont même sujettes à la désinformation puisqu’elles viennent désormais piocher leurs réponses en s’informant sur le Web.

Une nouvelle étude publiée par la Columbia Journalism Review vient confirmer cette propension à l’erreur des IA et c’est bien pire que ce que l’on peut imaginer lorsqu’elles font leurs recherches d’elles-mêmes sur le Web. L’analyse a sondé huit modèles, dont ChatGPTChatGPT d’OpenAI et Gemini de GoogleGoogle. Dans 60 % des cas, la réponse était incorrecte. Réputé pour sa capacité à se distinguer pour les recherches sur Internet, le modèle Perplexity de Perplexity AI s’en tire mieux, avec tout de même 37 % d’erreurs dans ses réponses. Le bonnet d’âne est obtenu avec mention par Grok 3 de X. Pour l’IA promue par Elon MuskElon Musk, la réalité et les faits n’ont pas spécialement d’importance, puisqu’elle se trompe dans 94 % des cas.

Le problème, c’est que de plus en plus de chatbots sont connectés au Web pour réaliser des recherches à la place de l’utilisateur et synthétiser les résultats. C’est ce que propose le mode de recherche ChatGPT, par exemple, ou bien le mode IA de Gemini qui affiche des résumés des recherches sans les sourcer. Même LeChat de MistralMistral AI sait réaliser cette opération.

Lors de l’étude, ChatGPT Search renvoyait vers de mauvaises sources dans près de 40 % des cas. Dans 21 % des réponses, il ne prenait même pas la peine d’en fournir une. Alors, si les utilisateurs comptent sur l’IA pour faire des recherches à leur place sur le Web, ils risquent d’être désinformés par le reconditionnement que l’algorithme va faire des informations collectées. Et surtout, on ne peut que constater que les sources employées pour réaliser une synthèse ne parviennent jamais ou que partiellement à l’internaute. Pour sa part, un moteur de recherche traditionnel fonctionne comme un intermédiaire et redirige directement vers des sources.

Les réponses de Grok-3 Search et de Perplexity Pro sont plus souvent erronées que celles de leurs homologues gratuits, relate l’étude. Chaque carré représente une réponse. © CRJ

Des IA trop sûres d’elles

C’est l’internaute qui réalise sa propre synthèse à partir des sources. L’étude a été menée à partir de 200 articles aléatoires puisés dans une vingtaine de publications. Les chercheurs ont demandé aux chatbots de retrouver une citation précise issue d’un article, d’identifier le titre de l’article, son auteur, sa date de publication et son URL. Rien de bien compliqué donc et surtout, pour faciliter les choses, les articles en question étaient disponibles dans les trois premiers résultats de Google, lorsqu’on saisissait la citation demandée.

Voir aussi

Les journalistes sont sauvés : quand les IA réécrivent l’actualité, c’est un vrai désastre… la preuve

Plus de la moitié du temps, les IA ne sont pas parvenues à réaliser cette tâche. Pire encore, les IA répondaient avec assurance, en ne nuançant pas les résultats pourtant faux. Dans les meilleurs des cas, elles refusaient de répondre. Surtout, comme cela a déjà été constaté, elles préfèrent halluciner ou inventer des réponses plutôt que d’expliquer qu’elles sont incompétentes. Il faut dire que cela pourrait effectivement trahir leur inutilité dans ce genre de situation.