Développé par la start-up japonaise Sakana AI en collaboration avec l’Université d’Oxford et l’Université de Colombie-Britannique, The AI Scientist est le premier système complet de découverte scientifique entièrement automatisée, qui permet aux grands modèles de langage (LLM) de mener des recherches de manière indépendante.

Concrètement, cette technologie innovante est en mesure de concevoir une idée, d’écrire du code, de mener des expériences, d’analyser les résultats, de rédiger un article scientifique et de s’autoévaluer. L’une des études produites de la sorte a même franchi une première étape d’évaluation par les pairs.

Plusieurs agents en un seul

The AI Scientist fonctionne en faisant travailler plusieurs agents d’IA ensemble, chacun spécialisé dans une tâche, pour reproduire le cycle complet de recherche. Le système commence par proposer des idées de recherche dans un domaine donné de l’apprentissage automatique. Pour éviter de réinventer ce qui existe déjà, il compare ensuite ses propositions à la littérature scientifique disponible. Les idées jugées trop proches de travaux antérieurs sont écartées.

Ensuite, l’intelligence artificielle écrit ou modifie du code, exécute les tests, corrige certaines erreurs, produit des graphiques et prend des notes sur les résultats obtenus. Dans la foulée, elle rédige elle-même l’article scientifique, avec introduction, méthode, résultats, conclusion et bibliographie. Enfin, un autre outil, baptisé « évaluateur automatisé », relit l’article comme le ferait un relecteur, en attribuant des notes sur la solidité, la présentation ou encore l’apport scientifique du travail.

L’IA est en mesure d’accélérer considérablement la recherche scientifique, mais pas sans un contrôle strict des outils. © France 24, YouTube

Une première étape d’évaluation par les pairs

Pour mesurer la valeur réelle du système, les chercheurs ont voulu le confronter aux règles habituelles du monde académique. Ils ont donc soumis trois manuscrits générés par The AI Scientist à un atelier associé à l’ICLR (International Conference on Learning Representations), une conférence internationale majeure en apprentissage automatique.

Le test s’est déroulé avec l’accord des organisateurs et d’un comité d’éthique. Les évaluateurs avaient été prévenus que certaines soumissions pouvaient être produites par IA, mais sans savoir lesquelles.

L’un des trois articles a réussi à obtenir une note suffisante pour dépasser le seuil moyen d’acceptation de l’atelier, qui était toutefois nettement plus accessible que celui de la conférence principale. Pour autant, c’est la première fois qu’un travail de recherche qui n’a pas été rédigé par des humains franchit une étape standard d’évaluation par les pairs dans un cadre scientifique reconnu. Ces travaux sont publiés dans Nature.

The AI Scientist est le premier système d’IA capable de mener seul des recherches scientifiques. © AP avec ChatGPT

Un système à améliorer 

Cette réussite ne signifie pourtant pas que l’IA peut se hisser au niveau des meilleurs chercheurs. Tout d’abord, parce que sur les trois articles soumis, un seul a été accepté. Ensuite, parce que cet article ne répondait pas aux exigences plus élevées de la conférence principale ICLR. Enfin, parce que les erreurs observées restent nombreuses… La méthodologie est parfois insuffisamment rigoureuse et les expériences ne sont pas toujours conduites de manière optimale.

Néanmoins, The AI Scientist a toutes les qualités pour accélérer fortement la production d’hypothèses, de tests et d’articles, notamment dans les domaines où les expériences sont largement automatisables, mais il faudra pour cela définir un cadre d’exploitation et des protocoles de contrôle car comme tous les modèles d’IA, cet outil peut commettre des erreurs et produire des affirmations fausses.