Arena Hard

Arena Hard est un benchmark public conçu par LMSYS / Chatbot Arena pour évaluer des modèles conversationnels instruction-tuned sur des requêtes ouvertes difficiles. Il cible des tâches proches d’usages réels, incluant raisonnement, programmation, mathématiques, écriture et créativité.

Le benchmark repose sur des comparaisons pairwise de réponses, avec une évaluation automatisée par LLM-as-a-judge. Son rôle est de différencier des modèles déjà performants sur des tâches de génération, en mesurant leur capacité à produire des réponses préférées face à un modèle de référence.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 26 modèles évalués, dont 21 de grands éditeurs. Score médian de l'ensemble : 57,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Arena Hard indique qu’un modèle remporte fréquemment ses comparaisons face au modèle de référence, ce qui suggère une forte qualité perçue sur des requêtes ouvertes et exigeantes. La méthode d’évaluation est structurée, avec des juges automatiques GPT-4.1 et Gemini-2.5, et le benchmark revendique une forte corrélation avec les préférences humaines ainsi qu’une meilleure séparation des performances que MT-Bench. Cette rigueur doit toutefois être nuancée, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Les limites tiennent aussi à la portée du jeu, centré sur l’anglais, à la taille fixe des prompts et aux risques classiques de contamination ou de saturation lorsque les modèles progressent. Le classement met en évidence un écart net entre la médiane de l’ensemble et le meilleur résultat observé, Qwen3 235B A22B, ce qui confirme l’intérêt du benchmark pour distinguer les modèles de haut niveau.

Sources des scores : llm-stats.