MCP Atlas

MCP Atlas est un benchmark public conçu par Scale AI pour évaluer la capacité des modèles d’IA à utiliser des outils à grande échelle. Il cible des tâches agentiques complexes, dans lesquelles un modèle doit coordonner plusieurs serveurs et outils MCP réels pour progresser sur des objectifs multi-étapes.

Le benchmark mesure notamment l’usage d’outils, le raisonnement, le comportement d’agent et la coordination multi-outils via le protocole MCP. Son intérêt est de situer les modèles non seulement sur leur capacité à répondre, mais aussi sur leur aptitude à orchestrer des actions dans des environnements outillés.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 27 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 71,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MCP Atlas indique qu’un modèle parvient plus souvent à mener à bien des tâches nécessitant la sélection, l’enchaînement et la coordination de plusieurs outils MCP. La métrique combine un taux de réussite et un taux de couverture, avec une évaluation par LLM-as-judge, Gemini 2.5 Pro étant utilisé par défaut avec un seuil de 0,75. Cette approche permet de juger des sorties complexes, mais elle introduit une dépendance au juge automatique et à ses critères. La fiabilité du classement doit aussi être lue avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Les limites portent sur la portée linguistique, centrée sur l’anglais, le risque de contamination propre aux benchmarks publics, et une possible saturation si les meilleurs modèles convergent vers des performances proches. Dans la base, l’écart entre la médiane à 72 % et Seed 2.1 Pro à 84 % suggère un benchmark encore discriminant, en particulier pour les capacités d’orchestration agentique à grande échelle.

Sources des scores : llm-stats.