La promesse des technologies d’intelligence artificielle était de nous aider à mieux comprendre le monde. Pourtant, une étude publiée dans la revue Royal Society Open Science en avril dernier soulève un paradoxe inquiétant. Les chercheurs ont découvert que les modèles de langage les plus récents comme ChatGPTChatGPT, Llama et DeepSeekDeepSeek ont tendance à dénaturer les résultats scientifiques en les simplifiant à l’excès.

Cette tendance contre-intuitive, où les versions les plus récentes performent moins bien que leurs prédécesseurs, soulève des questions cruciales sur l’utilisation des IAIA dans l’interprétation des connaissances scientifiques.

La simplification excessive, un problème grandissant avec les nouvelles générations d’IA

L’étude menée par une équipe internationale, incluant Uwe Peters, de l’Université de Bonn, a analysé près de 5 000 résumés d’articles scientifiques. Les résultats sont sans appel : les IA avancées ont cinq fois plus tendance à simplifier excessivement les découvertes scientifiques que des experts humains. Plus préoccupant encore, lorsqu’on demande explicitement à ces systèmes d’être précis, ils produisent paradoxalement deux fois plus de généralisations abusives.

Les chercheurs comparent ce phénomène à « un photocopieurphotocopieur avec une lentillelentille défectueuse qui rendrait les copies plus grossières que l’original ». En filtrant l’information à travers leurs couches de calcul, les IA perdent des nuances essentielles, particulièrement problématiques dans le domaine scientifique où contexte, limites et qualifications sont indispensables.

Un cas particulièrement frappant concerne le modèle DeepSeek qui a transformé l’expression prudente « était sûr et pouvait être réalisé avec succès » en une recommandation médicale affirmative, c’est-à-dire « est une option de traitement sûre et efficace ». Cette nuance peut sembler subtile, mais elle change radicalement la portée des conclusions scientifiques.

Les chercheurs ont identifié plusieurs types de déformations opérées par les modèles d’IA, mais la plus dangereuse concerne la transformation de données quantifiées en informations génériques. Par exemple, l’étude rapporte que Llama a élargi indûment le champ d’efficacité d’un médicament contre le diabète de type 2 chez les jeunes en omettant les informations essentielles sur le dosagedosage, la fréquence et les effets du traitement.

Ces déformations peuvent avoir des conséquences graves, notamment :

• Prescription de médicaments en dehors de leurs paramètres d’efficacité prouvés.
• Mauvaise interprétation des limites d’une étude scientifique.
• Propagation d’informations médicales imprécises.
• Renforcement des biais existants dans la communication scientifique.

Max Rollwage, vice-président de l’IA et de la recherche chez Limbic, une entreprise spécialisée en technologies d’IA pour la santé mentale, souligne que « cette étude met en évidence que les biais peuvent prendre des formes plus subtiles, comme l’inflation silencieuse de la portée d’une affirmation ». Dans un contexte où la synthèse par IA devient courante dans les flux de travail médicaux, ces distorsions posent un risque significatif.

Vers des solutions pour préserver l’intégrité scientifique

Fait intéressant, tous les modèles d’IA ne présentent pas les mêmes faiblesses. L’étude a révélé que Claude (l’IA d’Anthropic), contrairement à ses concurrents, a bien performé sur tous les critères de test. Cette différence suggère que le problème n’est pas inhérent à la technologie elle-même, mais plutôt à la façon dont certains modèles sont conçus et entraînés.

Patricia Thaine, cofondatrice de Private AI, pointe du doigt un problème fondamental : « Les modèles sont entraînés sur du journalisme scientifique simplifié plutôt que – ou en plus – sur des sources primaires, héritant ainsi de ces simplifications excessives ».

Pour remédier à ces problèmes, les experts recommandent plusieurs approches :

1. Développer des garde-fousgarde-fous dans les flux de travail qui identifient les simplifications excessives.
2. Concevoir des systèmes d’IA spécifiques aux domaines scientifiques plutôt que d’utiliser des modèles généralistes.
3. Maintenir une supervision humaine experte, particulièrement dans les domaines sensibles comme la médecine.
4. Améliorer les ensembles de données d’entraînement pour inclure davantage de nuances scientifiques.

Uwe Peters conclut avec une mise en garde : « Des outils comme ChatGPT, Claude et DeepSeek font de plus en plus partie de la façon dont les gens comprennent les découvertes scientifiques. Leur utilisation croissante pose un risque réel de mauvaise interprétation à grande échelle de la science, à un moment où la confiance du public et la culture scientifique sont déjà sous pressionpression ».