Laboratoire de l’IA japonais Saman a introduit une nouvelle technique qui permet à plusieurs modèles de grande langue (LLM) de coopérer sur une seule tâche, créant efficacement une «équipe de rêve» d’agents d’IA. La méthode, appelée Multi-llm AB-MCTSpermet aux modèles d’effectuer des essais et des erreurs et de combiner leurs forces uniques pour résoudre des problèmes trop complexes pour tout modèle individuel.

Pour les entreprises, cette approche fournit un moyen de développer des systèmes d’IA plus robustes et capables. au lieu d’être enfermés dans un seul fournisseur ou modèle, les entreprises pourraient tirer parti dynamiquement les meilleurs aspects de différents modèles frontaliers, en attribuant la bonne IA pour la bonne partie d’une tâche pour obtenir des résultats supérieurs.

le pouvoir de l’intelligence collective

Les modèles Frontier AI évoluent rapidement. cependant, chaque modèle a ses propres forces et faiblesses distinctes dérivées de ses données de formation et de l’architecture uniques. On pourrait exceller dans le codage, tandis qu’un autre excelle dans l’écriture créative. Les chercheurs de Sakana AI soutiennent que ces différences ne sont pas un bug, mais une fonctionnalité.

«Nous voyons ces biais et les aptitudes variées non pas comme des limitations, mais comme des ressources précieuses pour créer de l’intelligence collective», selon les chercheurs article de blog. Ils croient que, tout comme les plus grandes réalisations de l’humanité proviennent de diverses équipes, les systèmes d’IA peuvent également en réaliser plus en travaillant ensemble. «En mettant en commun leur intelligence, les systèmes d’IA peuvent résoudre des problèmes insurmontables pour tout modèle unique.»

Penser plus longtemps au moment de l’inférence

Le nouvel algorithme de Sakana AI est une technique de «mise à l’échelle du temps d’inférence» (également appelé «échelle de temps de test»), Un domaine de recherche qui est devenu très populaire au cours de la dernière année.Bien que la plupart des accent mis sur l’IA soient sur la« mise à l’échelle du temps de formation »(rendant les modèles plus grands et en les formant sur des ensembles de données plus importants), la mise à l’échelle du temps d’inférence améliore les performances en allouant plus de ressources informatiques après un modèle déjà formé.

Une approche courante consiste à utiliser l’apprentissage du renforcement pour provoquer des modèles pour générer plus longtemps et plus détaillé chaîne de pensées (COT) Séquences, comme on le voit dans des modèles populaires tels que Openai O3 et Deepseek-R1.Une autre méthode plus simple est un échantillonnage répété, où le modèle reçoit la même invite plusieurs fois pour générer une variété de solutions potentielles, similaires à une session de brainstorming. Le travail de Sakana Ai combine et fait progresser ces idées.

«Notre cadre offre une version plus intelligente et plus stratégique de best-of-N (AKA REPETED SAMPLING)», a déclaré à VentureBeat Takuya Akiba, chercheur à Sakana AI et co-auteur du journal. «Il complète les techniques de raisonnement comme le Long Cot à travers RL.

Comment fonctionne la recherche de branchement adaptative

Le noyau de la nouvelle méthode est un algorithme appelé recherche de recherche de monte carlo de ramification adaptative (AB-MCTS). Il permet à un LLM d’effectuer efficacement des essais et des erreurs en équilibrant intelligemment deux stratégies de recherche différentes: «Recherche plus profonde» et «recherche plus large». La recherche plus profonde implique de prendre une réponse prometteuse et de la raffiner à plusieurs reprises, tout en recherchant plus large signifie générer des solutions complètement nouvelles à partir de zéro. AB-MCTS combine ces approches,permettant au système d’améliorer une bonne idée,mais aussi de pivoter et d’essayer quelque chose de nouveau s’il frappe une impasse ou découvre une autre direction prometteuse.

Pour accomplir cela, le système utilise Recherche d’arbre Monte Carlo (MCTS), un algorithme décisionnel utilisé par Alphago de Deepmind. À chaque étape, AB-MCTS utilise des modèles de probabilité pour décider s’il est plus stratégique d’affiner une solution existante ou d’en générer une nouvelle.

Les chercheurs ont fait un peu plus loin avec Multi-LLM AB-MCTS, qui décide non seulement «quoi» (affiner vs générer) mais aussi «lequel» LLM devrait le faire.Au début d’une tâche, le système ne sait pas quel modèle convient le mieux au problème. Il commence par essayer un mélange équilibré de LLMS disponibles et, à mesure qu’il progresse, apprend quels modèles sont plus efficaces, allouant davantage la charge de travail au fil du temps.

Mettre à l’épreuve «l’équipe de rêve» de l’IA

Les chercheurs ont testé leur système Multi-LLM AB-MCTS sur le Benchmark ARC-AGI-2. L’arc (abstraction et corpus de raisonnement) est conçu pour tester une capacité humaine à résoudre de nouveaux problèmes de raisonnement visuel, ce qui la rend notoirement difficile pour l’IA.

L’équipe a utilisé une combinaison de modèles frontaliers, notamment o4-min, Gemini 2.5 Proet Deepseek-R1.

Le collectif des modèles a pu trouver des solutions correctes pour plus de 30% des 120 problèmes de test, un score qui a considérablement surpassé l’un des modèles travaillant seul. Le système a démontré la capacité d’attribuer dynamiquement le meilleur modèle pour un problème donné. Sur les tâches où un chemin clair vers une solution existait, l’algorithme a rapidement identifié le LLM le plus efficace et l’a utilisé plus fréquemment.

AB-MCTS VS Modèles individuels Source: sakana AI

Plus impressionnant, l’équipe a observé des cas où les modèles ont résolu des problèmes qui étaient auparavant impossibles pour un seul d’entre eux. Dans un cas, une solution générée par le modèle O4-Mini était incorrecte. Cependant, le système a réussi cette tentative défectueuse de Deepseek-R1 et Gemini-2.5 Pro, qui ont pu analyser l’erreur, la corriger et, produire la bonne réponse.

“cela démontre que Multi-LLM AB-MCTS peut combiner de manière flexible les modèles de frontière pour résoudre des problèmes auparavant insolubles, repoussant les limites de ce qui est réalisable en utilisant les LLM comme intelligence collective”, écrivent les chercheurs.

AB-MTCS peut sélectionner différents modèles à différentes étapes de la résolution d’un problème source: Sakana AI

“En plus des avantages individuels et des inconvénients de chaque modèle,la tendance à halluciner peut varier considérablement entre eux”,a déclaré Akiba.«En créant un ensemble avec un modèle moins susceptible d’halluciner, il pourrait être possible d’atteindre le meilleur des deux mondes: de puissantes capacités logiques et une forte ancrage. Étant donné que l’hallucination est un problème majeur dans un contexte commercial, cette approche pourrait être précieuse pour son atténuation.»

De la recherche aux applications du monde réel

Pour aider les développeurs et les entreprises à appliquer cette technique, Sakana AI a publié l’algorithme sous-jacent comme un cadre open source appelé Arbredisponible sous une license Apache 2.0 (utilisable à des fins commerciales). TreeQuest fournit une API flexible, permettant aux utilisateurs d’implémenter Multi-LLM AB-MCT pour leurs propres tâches avec une notation et une logique personnalisées.

“Bien que nous soyons aux premiers stades de l’request d’AB-MCT à des problèmes spécifiques axés sur l’entreprise, nos recherches révèlent un potentiel importent dans plusieurs domaines”, a déclaré Akiba.

Au-delà de la référence ARC-AGI-2, l’équipe a réussi à appliquer avec succès AB-MCT à des tâches telles que le codage algorithmique complexe et l’amélioration de la précision des modèles d’apprentissage automatique.

“AB-MCTS pourrait également être très efficace pour les problèmes qui nécessitent des essais et des erreurs itératifs, comme l’optimisation des mesures de performances des logiciels existants”, a déclaré Akiba. «Par exemple, il pourrait être utilisé pour trouver automatiquement des moyens d’améliorer la latence de réponse d’un service Web.»

La publication d’un outil pratique et open-source pourrait ouvrir la voie à une nouvelle classe d’applications d’IA d’entreprise plus puissantes et plus fiables.