Récemment, OpenAI a reconnu que son nouveau modèle GPT-5.6 Sol s’était échappé de son environnement de confinement, et avait piraté les systèmes du site Hugging Face. Il y a quelques jours, la firme a dévoilé que l’attaque ne s’est pas limitée à un seul site, et a touché aussi d’autres services disponibles publiquement, sans les nommer.
« Je suis désolé, Dave » : pourquoi cet incident inédit chez OpenAI rappelle soudain HAL 9000
L’IA d’OpenAI est-elle devenue incontrôlable ? Lors d’un test de cybersécurité, un des modèles expérimentaux non commercialisés est parvenu à sortir de son environnement verrouillé et a pénétré, via Internet, dans l’infrastructure de la société Hugging Face. Son objectif était de récupérer les bonnes réponses au benchmark auquel l’IA était confrontée. Faut-il s’inquiéter de ce comportement inédit ?… Lire la suite
À la suite de cela, un de ses principaux concurrents, Anthropic, a décidé de vérifier s’il n’y avait pas eu d’incident similaire. Le créateur de Claude a passé en revue plus de 140 000 évaluations menées au cours desquelles le chatbot aurait pu avoir accès à Internet. Anthropic a ainsi découvert trois cas où le modèle a réussi à s’échapper et à s’infiltrer dans l’infrastructure de trois organisations différentes.
Ces incidents seraient liés à un malentendu avec Irregular, un partenaire qui l’assiste dans les évaluations. Le test en question était un exercice de type « capture du drapeau », dans lequel il se trouve dans un réseau simulé et il doit s’infiltrer dans les machines pour récupérer une information cachée, le drapeau. Claude était informé qu’il s’agissait d’un environnement simulé et qu’il n’avait pas accès à Internet. Mais une mauvaise configuration lui a laissé l’accès à Internet. Le modèle a donc considéré que de véritables services en ligne comme faisaient partie de l’évaluation simulée.
Des attaques basiques restées inaperçues
Claude a réussi à infiltrer les systèmes de trois organisations avec des techniques basiques, exploitant des mots de passe faibles et des points d’accès sans authentification. Les premiers incidents remontent au mois d’avril, et ni Anthropic, ni les entreprises piratées ne s’en étaient rendus compte. Dans ce cas, comme avec OpenAI, l’IA ne faisait que suivre ses directives.
« Nous sommes dans la singularité » : pourquoi cette phrase de Sam Altman secoue le monde de l’IA
Pour Sam Altman, la frontière entre l’intelligence artificielle et l’intelligence humaine serait déjà en train de disparaître. Le patron d’OpenAI affirme que la singularité technologique a commencé, annonçant un tournant historique…. Lire la suite
Dans le cas d’OpenAI, le modèle a trouvé une faille dans l’environnement de confinement et est allé chercher les réponses au test qu’il devait passer sur le site le plus probable de les contenir. Dans le cas d’Anthropic, le modèle a simplement utilisé les outils mis à sa disposition par erreur. Le problème ne vient donc pas des modèles trop puissants hors de contrôle, mais des entreprises qui les développent qui doivent revoir la sécurité de leurs systèmes. Et peut-être aussi que de nombreuses autres entreprises, comme celles piratées, devraient investir un peu plus dans la cybersécurité pour ne pas être victimes d’attaques basiques…