AA-LCR

AA-LCR, pour Agent Arena Long Context Reasoning benchmark, est un benchmark d’Artificial Analysis publié en 2025. Il évalue la capacité des modèles d’IA à raisonner sur de longs contextes, en demandant de synthétiser des informations dispersées dans plusieurs documents.

Le test repose sur des questions ouvertes en anglais, avec des réponses libres jugées par un LLM. Il sert à comparer la robustesse des modèles lorsque la performance dépend moins d’un rappel local que d’une compréhension étendue, structurée et cohérente d’un corpus volumineux.

Carte d'identité

Classement des modèles (top 14)

Classement établi sur 14 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 64,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur AA-LCR indique qu’un modèle parvient plus souvent à relier des éléments éloignés dans un long contexte et à produire une réponse jugée équivalente à la référence. La métrique pass/fail donne une lecture simple, mais elle dépend d’un jugement automatisé par LLM, ce qui introduit une part d’interprétation dans l’évaluation. La fiabilité doit aussi être lue avec prudence, les scores disponibles étant majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante. Le classement montre un peloton relativement resserré autour d’un score médian de 64 %, avec Mistral Small 4 en tête à 71 % parmi les modèles suivis dans la base. Les limites principales tiennent à la portée du benchmark, centré sur l’anglais et le raisonnement long contexte, ainsi qu’aux risques classiques de saturation progressive et de contamination si les jeux de documents deviennent connus des modèles ou des éditeurs.

Sources des scores : llm-stats.