L’IA est une création de l’Homme et pourtant, plus elle s’améliore, plus elle devient difficile à comprendre. De fait, de nombreux scientifiques sont inquiets face à son développement spectaculaire. Pour eux, le danger réside dans la perte totale de contrôle que l’on pourrait avoir sur ces IA.

Depuis plusieurs années, Futura relate cette peur et les conséquences possibles pour notre civilisation. En devenant plus « intelligentes », ce qui se passe dans la machinerie d’une IA devient de plus en plus difficile à cerner. Pour gagner en efficacité, les peuvent même développer leur propre langage, totalement abscons pour leurs créateurs. Globalement, la fenêtre de compréhension du fonctionnement des IA se referme.

Le gros problème, c’est que l’IA peut très bien distiller avec assurance des biais nuisibles et des contenus toxiques, ou bien inventer des faits. L’autre danger, c’est que par excès de confiance, la plupart des utilisateurs vont la croire, sans vérifier. Et ce dernier point va devenir compliqué, puisque les IA s’alimentent désormais de données piochées sur le Web. Des données parfois biaisées qui sont de plus en plus générées par elles-mêmes.

Pour mieux comprendre leur fonctionnement et éviter la catastrophe, de nombreux chercheurs tentent de disséquer ces modèles. C’est le cas de chercheurs de la start-up Goodfore.ai. Ils se sont lancés dans l’étude de la structure interne des grands modèles de langage et visuels. Autrement dit, sa cartographie.

Rendre l’IA plus sûre

Ils voulaient savoir si leurs capacités de mémorisation et de raisonnement de l’IA sont mêlées, ou si elles occupent deux parties distinctes de leur « cerveau ». Et visiblement, elles dissocient les deux, selon leur étude publiée sur Arxiv. Cette information est essentielle, car jusqu’à maintenant, personne ne savait si la mémoire et l’intelligence de l’IA étaient stockées au même endroit.

Pour y parvenir, l’équipe a d’abord utilisé une technique mathématique, appelée K-FAC (Kronecker-Factored Approximate Curvature). Elle permet d’identifier les différents composants de traitement de l’IA. Ils se distinguent en deux familles :

• les voies dites à « faible courbure », qui permettent de mémoriser l’intégralité des données à assimiler ;
• une zone dite à « forte courbure », qui concerne le raisonnement flexible avec des capacités de traitement large.

L’illustration ci-dessus montre d’abord comment les chercheurs observent ce que le réseau de l’IA « voit » et « corrige » pendant son apprentissage. Ils décomposent ensuite ses réglages internes pour repérer ceux qui influencent le plus son comportement. Enfin, ils relient ces différentes zones à des types de tâches comme le raisonnement, la mémoire ou le calcul. De cette façon, l’équipe a pu déterminer que la mémoire et le raisonnement ne sont pas stockés au même endroit. © Goodfire.ai 

Désactivation de la mémoire

Pour vérifier si les données étaient ou non stockées au même emplacement, ils ont commencé par désactiver les parties de l’IA précisément liées à la mémorisation.

À partir de ce moment-là, l’IA devenue amnésique a été testée, notamment pour répondre à des questions factuelles et résoudre de nouveaux problèmes. Et cela fonctionnait ! Même sans mémoire, les modèles conservaient leurs capacités de raisonnement. Un fait qui indique clairement que les deux fonctions occupent des parties distinctes de l’architecture interne de l’intelligence artificielle.

Mais cette expérience a également engendré des comportements surprenants. Le raisonnement logique est donc préservé et a même été parfois amélioré malgré l’absence de mémoire. En revanche, les compétences de l’IA en mathématiques et en mémorisation de faits isolés ont été fortement affectées. Sur ce point, l’impact de l’absence de la mémoire générale a eu des conséquences totalement disproportionnées selon l’équipe.

Malgré la découverte de ce comportement étrange, savoir que le stockage des données est différencié reste un atout important pour le contrôle des IA. Cela signifie que leurs travers et dangers peuvent être atténués en ciblant avec précision la suppression de certaines connaissances acquises. Il en est de même pour les schémas de pensée spécialisés.

D’après les conclusions de l’équipe, ces modifications n’affecteraient aucunement l’intelligence générale de l’IA. L’autre intérêt de cette découverte, c’est qu’elle pourrait permettre de rendre les modèles l’IA plus efficaces et moins coûteux à exécuter, en réduisant l’espace réseau nécessaire à leur fonctionnement.