Arena-Hard v2

Arena-Hard v2 est un benchmark conçu par LMArena (ex-LMSYS), avec Tianle Li, Wei-Lin Chiang et leurs coauteurs, pour évaluer les grands modèles de langage sur des requêtes ouvertes issues d’usages réels. Il cible des tâches difficiles, notamment en ingénierie logicielle, en mathématiques, en écriture créative et en résolution de problèmes techniques.

Son rôle est de rapprocher l’évaluation automatisée des préférences humaines observées dans Chatbot Arena. Le benchmark s’appuie sur des juges LLM, dont GPT-4.1 et Gemini-2.5, afin de comparer les réponses selon un win-rate plutôt que par simple exactitude.

Carte d'identité

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 66,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Arena-Hard v2 indique qu’un modèle tend à produire des réponses préférées sur des requêtes complexes, ouvertes et proches de cas d’usage réels. Le signal est particulièrement utile pour distinguer des modèles généralistes avancés, car le benchmark a été conçu pour renforcer la séparation entre performances et affiche une forte corrélation avec les préférences humaines. Dans cette base, le classement montre un écart notable entre le score médian et le meilleur modèle, MiMo-V2-Flash, ce qui suggère que l’épreuve reste discriminante pour les modèles évalués. La prudence reste toutefois nécessaire : les scores sont majoritairement auto-déclarés par les éditeurs, et non systématiquement mesurés de manière indépendante. Comme tout benchmark public, Arena-Hard v2 peut aussi être exposé à des risques de contamination ou de saturation progressive. Sa portée reste enfin limitée par la langue anglaise et par le recours à des juges LLM, qui ne remplacent pas entièrement une évaluation humaine contrôlée.

Sources des scores : llm-stats.