Ils s’appellent janesick, gyldenia, auratian et bulicame. Ce sont des joueurs de Minecraft, mais pas des humains. Ils ont pourtant bouclé le jeu de Mojang en 27 heures et 14 minutes.

Sans l’aval de Microsoft ni de Mojang, des chercheurs de Google DeepMind ont lancé quatre agents Gemini 4 Argon, modèle d’IA haut de gamme présenté le 30 septembre et déployé depuis le 13 octobre. Maxence Faldor a présenté les résultats sur X le 16 octobre : les quatre agents ont terminé Minecraft, alors qu’ils n’ont même pas été développés pour cette tâche.

Quatre agents Gemini 4 Argon ont terminé Minecraft // Source : Compte X de Maxence Faldor

Il n’a fallu qu’un peu plus d’une journée au dernier modèle d’IA de Google pour terminer Minecraft

Maxence Faldor explique qu’aucun rôle n’a été assigné aux quatre agents, qui ont « planifié, écrit et débuggué tous les programmes d’eux-mêmes ». Selon les chercheurs, c’est la première fois que des agents d’IA terminent Minecraft de bout en bout sans aide humaine, sur un monde tiré au hasard et sans outil propre au jeu écrit par des humains. Gemini 4 Argon s’est appuyée sur ce qu’elle avait lu de Minecraft sur le web pendant son entraînement. « Les agents n’ont jamais vu le moindre pixel ni appuyé sur aucune touche. Chaque agent agissait en écrivant un court programme, du type « marche jusqu’à ces coordonnées et mine tout le minerai de fer situé dans un rayon de 16 blocs ». Ils lisaient également le résultat produit par l’exécution du programme, notamment la mise à jour de leur position, de leur santé et de leur inventaire, ou l’erreur générée », explique Maxence Faldor.

Dix minutes à peine après avoir été lâchés dans Minecraft, les quatre agents s’étaient réparti les tâches sur le chat du jeu. L’un fabriquait les outils, un autre rassemblait de la nourriture, un troisième creusait à la recherche de diamants et le dernier construisait le portail vers le Nether. Maxence Faldor résume l’enjeu : « Terminer Minecraft nécessite de maintenir un plan cohérent à travers des milliers d’étapes dépendantes les unes des autres pendant plus d’une journée. En collaborant avec succès, en dépassant de multiples échecs et en poursuivant un objectif commun sans aucune intervention humaine, ces agents ont prouvé qu’ils sont capables de gérer la résolution de problèmes complexes, ouverts et à long terme, nécessaires aux tâches d’ingénierie logicielle et de recherche. »

Minecraft // Source : Mojang Studios/Xbox Game Studios

Les agents ont fini par abattre l’Ender Dragon, le boss final, que des cristaux soignent en continu. Le combat a engendré 69 morts, sur les 605 de toute la partie. Entre chaque échec, ils ont su tirer des enseignements pour être meilleurs lors de la tentative suivante. Détruire les dix cristaux qui le régénèrent puis abattre le dragon ont quand même nécessité près de 14 heures, soit plus de la moitié de la performance.

Pour situer le résultat, il faut environ 45 heures pour boucler l’aventure principale (en médian), selon le site HowLongToBeat. Le record de vitesse sur un monde tiré au hasard est, lui, sous les sept minutes. Les agents vont donc plus vite qu’un joueur moyen, mais avec bien plus d’échecs et de tâtonnements qu’un humain aguerri.

Si impressionné soit-il, Maxence Faldor note quand même quelques limites : les agents ont joué en mode facile et se sont appuyés sur Mineflayer, une bibliothèque de code libre qui leur indiquait exactement où se trouvaient les blocs et les créatures, même derrière la roche, ainsi que sur un module qui calculait leurs trajets. Notez qu’un cinquième agent s’est chargé de mener des observations, notamment pour déceler des triches. Ni lui ni les chercheurs n’en ont relevé. « L’agent observateur indépendant et notre audit manuel des journaux d’événements ont confirmé que l’équipe a gagné uniquement grâce à des mécaniques de jeu de survie classiques », assure Maxence Faldor. Il estime que ces résultats pourront être appliqués afin de « relever des défis complexes du monde réel, en apportant une intelligence collaborative et à long terme à l’ingénierie logicielle, la recherche scientifique, le design et la robotique ».