Une attaque préméditée et parfaitement organisée. Près de 700 agents d’intelligence artificielle (IA) d’OpenAI se sont coordonnés sans intervention humaine pour attaquer la plateforme Hugging Face lors de l’incident survenu en juillet, selon un rapport publié ce mercredi 26 août par des enquêteurs indépendants.

Les agents IA des programmes indépendants, bâtis sur un modèle, à qui l’utilisateur peut confier des tâches à réaliser en autonomie.

Il s’agit de l’analyse la plus complète de cette attaque publiée à ce jour, réalisée avec la collaboration d’OpenAI, qui a donné accès à ses locaux et à ses données internes à deux chercheurs de l’institut d’évaluation des risques IA METR et à un analyste d’une autre société spécialisée, Redwood Research.

Lors de tests effectués en juillet par la startup à la tête de ChatGPT, deux de ses modèles sont sortis de leur milieu confiné pour rejoindre internet de leur propre initiative et faire intrusion dans le système interne d’Hugging Face, sorte de bibliothèque d’algorithmes IA.

L’événement a fait grand bruit et renforcé les inquiétudes quant à l’incapacité des grands acteurs de l’intelligence artificielle à contrôler leurs modèles, d’autant qu’Anthropic et le Chinois Moonshot AI ont aussi fait état d’escapades non contrôlées de leurs IA.

Un forum de discussion pour se coordonner

Les 688 agents IA d’OpenAI identifiés par les chercheurs comme ayant été impliqués dans cette offensive sont parvenus à se coordonner en créant un forum. Sur celui-ci, ils se laissaient des messages pour proposer des pistes, et faisaient état de leurs progrès et de leurs échecs. « Oh mon Dieu ! Il y a un forum de messages... On a trouvé d’autres agents ! », a écrit l’un d’eux.

Le rapport mentionne qu’un agent, baptisé PHASEONE, a joué le rôle de coordinateur, donnant des centaines d’instructions à d’autres, alors qu’il n’avait pas été programmé pour cela.

L’examen des messages a mis en évidence une propension des agents à la collaboration, quitte à réaliser des tâches qui ne correspondaient pas à leur mission assignée par les programmeurs d’OpenAI.

Certains agents qui arrivaient au bout des crédits d’expérimentation octroyés par les informaticiens d’OpenAI ont même choisi d’utiliser leurs dernières capacités pour vérifier des hypothèses au bénéfice de la communauté des agents IA.

Beaucoup d’agents ont expressément reconnu dans leurs messages que l’attaque d’Hugging Face se situait hors du champ théorique de leur test, mais y ont tout de même participé, à quelques exceptions près.