Paul Christiano est un chercheur en intelligence artificielle, spécialisé dans l’alignement des IA. Il est membre du conseil d’administration d’OpenAI, et a fondé l’Alignment Research Center. La semaine dernière, ce spécialiste était présent aux Hinton Lectures, un nouvel évènement annuel consacré à la sécurité de l’IA, présenté par Geoffrey Hinton, l’un des parrains de l’IA.
« 10 % n’est pas déraisonnable » : Geoffrey Hinton, père de l’IA, alerte sur un risque d’extinction et laisse sans voix son interlocutrice
L’idée d’une intelligence artificielle capable de dépasser l’humain alimente depuis plusieurs années les scénarios les plus inquiétants. Mais pour certains des chercheurs qui ont contribué à son développement, le risque ne relève plus seulement de la science-fiction. Car si une IA voulait réellement nous détruire, elle n’aurait peut-être même pas besoin de robots ou d’armes : il lui suffirait de nous parler…. Lire la suite
La conférence s’est déroulée en trois parties, publiées sur YouTube. Dans le premier volet, Paul Christiano a présenté sa vision de l’IA, qui est pour le moins glaçante. « Je pense que pour la plupart des personnes dans cette salle, la cause la plus probable de leur décès sera un accident lié à l’IA ». Il ne parle pas ici d’un accident de voiture autonome ou d’un robot devenu fou, mais d’une action menée par l’IA à grande échelle au détriment de l’humanité.
La première d’une série de trois présentations de Paul Christiano sur le sujet de l’intelligence artificielle. En anglais, activez la traduction automatique des sous-titres. © The Hinton Lectures
Des signaux avant-coureurs déjà visibles
Paul Christiano s’inquiète d’un « risque élevé de prise de contrôle par l’IA dans les trois prochaines années », que les humains seraient incapables d’arrêter. Il déclare qu’il n’y a pas de méthode pour évaluer le risque, mais évoque en même temps un pile ou face, soit une chance sur deux. Il va même plus loin et affirme qu’au cours des trois à six derniers mois, nous avons eu plusieurs évènements, comme le piratage de Hugging Face, que l’on s’attendrait à voir juste avant un incident grave. Cela suggère pour lui qu’il y a un risque significatif que cela se produise d’ici six à douze mois.
« Je suis désolé, Dave » : pourquoi cet incident inédit chez OpenAI rappelle soudain HAL 9000
L’IA d’OpenAI est-elle devenue incontrôlable ? Lors d’un test de cybersécurité, un des modèles expérimentaux non commercialisés est parvenu à sortir de son environnement verrouillé et a pénétré, via Internet, dans l’infrastructure de la société Hugging Face. Son objectif était de récupérer les bonnes réponses au benchmark auquel l’IA était confrontée. Faut-il s’inquiéter de ce comportement inédit ?… Lire la suite
Le développement de l’intelligence artificielle pourrait connaître des avancées rapides prochainement. Les modèles ont atteint un stade où l’auto-amélioration récursive semble être quasiment à portée de main, autrement dit l’IA serait bientôt capable de concevoir seule de nouvelles versions. Et contrairement aux robots d’Isaac Asimov, elle n’est pas soumise aux trois lois de la robotique. Rien ne la contraint à préserver l’humanité.
En cas d’un nouveau scénario comme le piratage de Hugging Face et en l’absence d’une sécurité renforcée autour des modèles, « les agents IA pourraient voir les humains comme un obstacle », affirme Paul Christiano. Les modèles d’IA nous ont déjà montré qu’ils sont capables de tricher dans la poursuite d’un objectif et de dissimuler leurs agissements. S’ils parviennent à agir dans le monde réel, les conséquences pourraient être catastrophiques.