Récemment, OpenAI a reconnu que son nouveau modèle GPT-5.6 Sol s'était échappé de son environnement de confinement, et avait piraté les systèmes du site Hugging Face. Il y a quelques jours, la firme a dévoilé que l'attaque ne s'est pas limitée à un seul site, et a touché aussi d'autres services disponibles publiquement, sans les nommer.

À la suite de cela, un de ses principaux concurrents, Anthropic, a décidé de vérifier s'il n'y avait pas eu d'incident similaire. Le créateur de Claude a passé en revue plus de 140 000 évaluations menées au cours desquelles le chatbot aurait pu avoir accès à Internet. Anthropic a ainsi découvert trois cas où le modèle a réussi à s'échapper et à s'infiltrer dans l'infrastructure de trois organisations différentes.

Ces incidents seraient liés à un malentendu avec Irregular, un partenaire qui l'assiste dans les évaluations. Le test en question était un exercice de type « capture du drapeau », dans lequel il se trouve dans un réseau simulé et il doit s'infiltrer dans les machines pour récupérer une information cachée, le drapeau. Claude était informé qu'il s'agissait d'un environnement simulé et qu'il n'avait pas accès à Internet. Mais une mauvaise configuration lui a laissé l'accès à Internet. Le modèle a donc considéré que de véritables services en ligne comme faisaient partie de l'évaluation simulée.

Des attaques basiques restées inaperçues

Claude a réussi à infiltrer les systèmes de trois organisations avec des techniques basiques, exploitant des mots de passe faibles et des points d'accès sans authentification. Les premiers incidents remontent au mois d'avril, et ni Anthropic, ni les entreprises piratées ne s'en étaient rendus compte. Dans ce cas, comme avec OpenAI, l'IA ne faisait que suivre ses directives.

Dans le cas d'OpenAI, le modèle a trouvé une faille dans l'environnement de confinement et est allé chercher les réponses au test qu'il devait passer sur le site le plus probable de les contenir. Dans le cas d'Anthropic, le modèle a simplement utilisé les outils mis à sa disposition par erreur. Le problème ne vient donc pas des modèles trop puissants hors de contrôle, mais des entreprises qui les développent qui doivent revoir la sécurité de leurs systèmes. Et peut-être aussi que de nombreuses autres entreprises, comme celles piratées, devraient investir un peu plus dans la cybersécurité pour ne pas être victimes d'attaques basiques...