Multi-Challenge

Multi-Challenge est un benchmark d’évaluation conversationnelle conçu par Scale AI, via l’équipe SEAL / Scale Labs. Il se concentre sur des dialogues multi-tours réalistes, dans lesquels un modèle doit répondre correctement au dernier tour tout en conservant le contexte accumulé.

Le test mesure des capacités centrales pour les assistants IA en usage prolongé : rétention d’instructions, mémoire d’inférence à partir d’informations utilisateur, édition versionnée fiable et auto-cohérence. Il sert ainsi à apprécier la robustesse des modèles dans des échanges suivis, plus proches d’interactions professionnelles ou collaboratives que de questions isolées.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 28 modèles évalués, dont 24 de grands éditeurs. Score médian de l'ensemble : 54,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Multi-Challenge indique qu’un modèle parvient à maintenir des consignes, relier des informations apparues plus tôt dans la conversation, adapter une production à des instructions évolutives et éviter les contradictions. Cette compétence est particulièrement importante pour les cas d’usage où la qualité dépend de la continuité du dialogue, comme la planification, la documentation technique ou la communication professionnelle. L’évaluation repose sur une exactitude jugée par un LLM, ce qui permet de traiter des réponses ouvertes, mais introduit aussi une dépendance au comportement du juge. Dans la base considérée, les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité stricte entre modèles. La médiane à 54 % et le meilleur score, Nova 2 Pro à 78 %, suggèrent que le benchmark reste discriminant et loin d’être saturé. Ses limites tiennent aussi à sa portée linguistique, centrée sur l’anglais, et aux risques généraux de contamination propres aux jeux d’évaluation publics.

Sources des scores : llm-stats.