La recherche en intelligence artificielle a établi un constat : les modèles savent décrire le monde mais éprouvent d’importantes difficultés à en saisir les mécanismes. Pour certains experts, il faudrait doter l’IA d’une capacité de simulation interne lui permettant d’anticiper les effets de ses choix avant d’agir. Ceci nous amène à évoquer la notion de « world models » (ou modèles du monde).

Dépasser la manipulation de textes pour appréhender la physique

Les grands modèles de langage (LLM) tels que ChatGPT, Gemini et Claude ont une faiblesse : ils n’ont aucune idée de la réalité physique. Autrement dit, ces modèles n’ont pas de sens commun matériel car ils ne comprennent pas de manière intrinsèque la gravité, la notion de distance ou encore, l’irréversibilité d’une action – par exemple lorsqu’un verre se brise.

Dans les faits, afin d’une intelligence artificielle pilote un véhicule autonome ou un robot humanoïde, le texte ne suffit plus. Il n’est effectivement plus seulement question de générer des probabilités mais de parvenir à anticiper les conséquences physiques de ses actions. Or, si l’IA doit tester chaque action directement dans la réalité, celle-ci finira par détruire le matériel ou provoquer des accidents. Ainsi, certains chercheurs estiment que cette même IA a besoin d’un genre d’espace mental – un simulateur interne – afin de tester ses hypothèses avant de les exécuter.

C’est là qu’intervient la notion de « world models » (ou modèles du monde), une approche totalement différente de celles des LLM. L’IA se crée une représentation compressée de son environnement et « rêve » des scénarios futurs pour tester des stratégies. L’objectif est de dépasser la simple manipulation de symboles textuels pour appréhender l’espace, le mouvement et la réalité matérielle.

©Metamorworks/iStockSource: DR

Evidemment, les véhicules autonomes sont concernées par le concept de modèle du monde.

Générer des représentations abstraites plutôt que de prédire des pixels

Jusqu’à récemment, le recours au concept de modèles du monde pour une IA capable de prédire l’avenir visuel consistait à lui faire générer des vidéos futures image par image (générateurs de vidéo). Pour les experts, cette approche représente une impasse informatique. En effet, il s’avère que le modèle gaspille une énergie considérable pour le calcul de détails inutiles, par exemple la forme exacte de chaque feuille bougeant sur un arbre se situant en arrière-plan.

Il existe pourtant une approche plus moderne des modèles du monde, notamment celle de l’expert franco-américain Yann Le Cun. Aujourd’hui scientifique en chef de l’IA chez Meta, l’intéressé est à l’origine de l’Image Joint Embedding Predictive Architecture (I-JEPA). Concrètement, ce concept présenté en 2023 n’invite pas l’IA à prédire chaque pixel manquant d’une image mais à générer des représentations abstraites. Le modèle ignore ainsi les détails superflus pour se concentrer uniquement sur les forces et les objets comptant pour l’action, par exemple la trajectoire d’une voiture arrivant de face.

Les domaines d’applications des modèles du monde concernent donc en grande partie les véhicules autonomes. La modélisation de l’espace en 3D en se focalisant sur l’essentiel permettrait d’anticiper les trajectoires complexes et autres imprévus. En robotique avancée, il s’agirait de permettre à un robot d’ajuster ses mouvements en comprenant la gravité et la fragilité des objets. Enfin, les modèles du monde pourrait servir en termes d’optimisation industrielle, par exemple en simulant les impacts d’une panne, d’un changement logistique ou encore, d’une intervention sur un système dynamique.