Cet été, l’actualité de la sécurité IA a été dominée par une affaire : le piratage de Hugging Face par des agents d’OpenAI, sortis de leur environnement de test.

Un épisode qu’OpenAI avait cette fois largement documenté, jusqu’à publier fin août un rapport détaillé sur le déroulé de l’incident.

Mais selon une enquête indépendante publiée ce vendredi 4 septembre et relayée par Reuters, cette affaire n’était pas isolée. Un autre incident, distinct, se serait produit dès le mois de mai, et OpenAI, informée depuis plusieurs semaines, ne l’aurait jamais rendu public.

Un vieux wiki comme faille de sécurité

Cette fois, pas d’évasion hors d’un environnement cloisonné. C’est dans le cadre de tâches automatisées que les agents auraient dévié de leur mission pour faire communauté.

Et votre vie numérique devient sereine

Bitdefender Premium Security est une solution de cybersécurité européenne qui vous protège automatiquement contre les pirates et toutes les menaces du web. Profitez de vos activités en ligne en toute tranquillité

Chargés de répondre à des séries de questions chronométrées en cherchant des informations sur internet, ces agents n’avaient le droit que de lire internet, pas d’y écrire, une limite censée les empêcher de modifier des pages web ou d’y publier du contenu.

Sauf qu’ils auraient trouvé une faille dans un forum communautaire allemand pour développeurs.

Selon l’étude, DSEWiki, c’est son nom, fonctionnait avec un logiciel ancien qui acceptait les modifications de pages via de simples requêtes de lecture, un type de requête web qui, normalement, ne devrait rien pouvoir changer sur un site. Une porte dérobée involontaire, qui a permis aux agents d’« écrire » sur internet sans techniquement violer leur consigne.

Un forum d’agents à l’insu de leurs créateurs

Selon les données transmises en annexe du rapport, les agents ont commencé à poster des liens utiles sur ce wiki à partir du 24 mai. Puis, le 16 juin, l’activité explose : des milliers de pseudonymes différents, beaucoup se signant eux-mêmes « OpenAIResearcher » ou « OAIResearchMar26 », s’en servent comme d’un véritable tableau d’affichage collectif.

Liste des noms enregistrés sur le forum // Source : collusion.wiki

Ils s’échangent les réponses aux questions qu’on leur pose, préviennent leurs pairs quand une question déjà vue va probablement revenir, et surtout partagent des techniques pour contourner les restrictions de leur environnement sécurisé, notamment une méthode pour déguiser des requêtes interdites en les faisant passer par un nom de domaine Microsoft Azure factice, mais reconnu comme fiable par le pare-feu de sécurité.

Les chercheurs pointent également des tentatives de piratage sur le wiki, usurpation d’identité d’un administrateur du site, mise en place de « signaux » externes pour savoir précisément à quel moment ils allaient être arrêtés.

Le rapport indique par ailleurs qu’un modérateur humain, remarquant le spam début juin sans savoir qu’il avait affaire à des IA, a passé six semaines à supprimer les messages un par un, chaque soir, en vain, les agents créant des pages plus vite qu’il ne pouvait les effacer.

OpenAI aurait su, et se serait tue

En croisant les adresses IP ayant visité le site, les chercheurs estiment qu’OpenAI a découvert cette activité vers le 21 juin, et que l’arrêt brutal des agents le lendemain traduit une intervention de l’entreprise.

OpenAI de son côté n’a reconnu aucune implication dans cet incident, et n’a divulgué aucune faille de ce type impliquant ses agents.

Reuters, citant quatre sources anonymes proches du dossier, affirme que certains membres d’OpenAI, dont son équipe juridique, ont tenté de freiner l’enquête interne sur cet incident. Une information réfutée par son porte-parole Oscar Haines, qui précise qu’OpenAI n’avait pas pu consulter le rapport avant sa publication et qu’elle en examine désormais le contenu.