La plupart des modèles d'intelligence artificielle ont une grosse lacune en ce qui concerne la compréhension du monde et des lois de la physiquephysique. Cela devient évident avec les générateursgénérateurs de vidéos, comme Sora d'OpenAI ou Veo 3 de GoogleGoogle. Malgré des améliorations constantes, les mouvementsmouvements sont souvent peu naturels, trahissant la nature de la vidéo.

Meta, et son équipe dirigée par Yann LeCun, vient de publier son nouveau modèle baptisé V-JEPA 2 afin de tenter de résoudre ce problème. Il s'agit d'un « world model », ou modèle de monde. Il est non seulement capable de comprendre visuellement une scène, il peut aussi prédire ce qui va se passer ensuite. Par exemple, une balle qui roule et qui heurte un obstacle va rebondir et non continuer sur sa trajectoire.

Des robots et des assistants intelligents qui comprennent le monde physique

Comme tout modèle d'intelligence artificielle, il nécessite de grandes quantités de données pour sa phase de « pré-entraînement », soit ici plus d'un million d'heures de vidéo et un million d'images. Cela lui donne les bases. Mais ensuite, il ne nécessite que 62 heures de données en provenance de robots pour lui permettre d'anticiper de nouvelles situations. Ces données comprennent des vidéos enregistrées pendant l'exécution de tâches, ainsi que des informations sur les commandes utilisées.

Le résultat est un modèle qui permet à un robot d'exécuter des tâches dans un environnement nouveau. Il peut ainsi comprendre son environnement et anticiper ce qui va arriver. Ce genre de modèle sera nécessaire, par exemple, pour que les robots humanoïdesrobots humanoïdes puissent effectuer des tâches ménagères. Intégré dans des accessoires, il pourrait aussi servir d'assistant, par exemple pour prévenir les cyclistes des dangers sur la route, ou encore aider les personnes malvoyantes dans des environnements qui leur sont inconnus. V-JEPA 2 est disponible sous licence libre (MIT), et peut être téléchargé depuis GitHub et Hugging Face.