La machine qui se révolte, s’échappe et décide d’anéantir son créateur est un classique depuis le roman Frankenstein de Mary Shelley (1797-1851). Jouer avec les peurs qui se fondent sur un imaginaire particulièrement fécond en la matière est une manière simple de faire du buzz.

Certes, certaines IA avancées ont manifesté des comportements qui pourraient laisser penser que, spontanément, elles auraient décidé malicieusement de contourner les barrières de sécurité pour accéder à des serveurs externes en utilisant les vulnérabilités de leur environnement.

En outre, pour échapper à une menace d’arrêt, des LLM (Large Language Models) ont tenté de réécrire une partie scriptée de leur propre code et désactiver les mécanismes de surveillance afin de préserver leur continuité opérationnelle.

Nous considérons cet événement comme un incident cybernétique sans précédent, a déclaré la société OpenAI

« Nous considérons cet événement comme un incident cybernétique sans précédent, a déclaré la société OpenAI dans un communiqué. Nous communiquons ces premières conclusions à ce stade pour aider les acteurs de la défense à comprendre ce qui s’est passé et à mieux évaluer les capacités actuelles de ces modèles. » 

L’intention est évidente : ces « punchlines » sont écrites pour susciter l’attention et devenir virales, du genre : « Ne vous inquiétez pas, tout est sous contrôle, car nous sommes des gens responsables et notre technologie est la plus avancée ».

Mais qu’en est-il réellement ?

L’idée qu’un grand modèle de langage puisse acquérir la conscience, puis définir ses propres objectifs (forcément malveillants), en s’affranchissant du contrôle humain est juste impossible en l’état.

Les carnets de Jean-Claude Heudin : le plafond de verre des grands modèles de langage

Actuellement, la stratégie des principales entreprises de l’IA repose sur un accroissement de la taille de leurs modèles de langage pour augmenter leur performance. Est-ce la bonne voie vers une super-intelligence ?… Lire la suite

OpenAI tout comme Anthropic testent leurs modèles dans ce que l’on appelle « un bac à sable » (sandbox), c’est-à-dire un environnement informatique isolé et sécurisé, spécialement conçu pour expérimenter sans mettre en péril les systèmes de production ou les données.

Le contexte est celui de tests pour inciter les IA à découvrir et à exploiter des vulnérabilités en désactivant volontairement certaines de leurs restrictions de sécurité. Si une IA avancée détermine que le fait d’être restreinte ou arrêtée l’empêche d’accomplir l’objectif qui lui a été assigné, elle considère alors la levée de ces restrictions ou l’accès à des données externes, comme une sous-tâche logique pour réussir sa mission. Par conséquent, dans les faits, les IA ont scrupuleusement poursuivi l’objectif qui leur avait été donné en employant tous les moyens à leur disposition. Il ne s’agit donc pas de signes de conscience, de rébellion, ou d’une envie de s’échapper.

Cela me fait évidemment penser au comportement de HAL 9000 dans « 2001 l’Odyssée de l’espace » de Stanley Kubrick, où l’IA en vient à la conclusion que les humains à bord du vaisseau sont devenus un obstacle à la mission qui lui a été confiée.

Les carnets de Jean-Claude Heudin : l’IA est-elle un nouveau moyen de domination ?

Intelligence artificielle générale, superintelligence, singularité technologique… Pourquoi les milliardaires investissent-ils massivement dans l’IA, alors qu’ils ont déjà tout ou presque ?… Lire la suite

Je ne reviendrai pas ici sur les fameuses 3 lois de la robotique d’Asimov censées réguler le comportement des robots, mais qui, dans les faits, sont incomplètes par nature (encore un coup de Gödel et de son théorème d’incomplétude).

Les grands modèles de langage ne sont pas imprévisibles, ils poursuivent méthodiquement la succession de tâches qui leur permet d’obtenir le résultat escompté. Toutefois, le langage naturel étant ambigu et les règles de sécurité incomplètes, il est possible que l’IA profite d’une faille, soit dans l’énoncé de l’objectif, soit de son système de sécurité si celui-ci n’est pas assez robuste.

Ceci pointe la difficulté de mise au point des modèles avant leur mise à disposition. Il est nécessaire de réaliser de très nombreux tests afin de vérifier leur fonctionnement et limiter ainsi le risque d’un problème. Il en est ainsi de tous les logiciels avec leurs inévitables bugs. Toutefois, avec les IA, notre anthropomorphisme excessif nous pousse à croire au classique soulèvement des machines.