Humanity's Last Exam

Humanity's Last Exam est un benchmark académique multimodal conçu par le Center for AI Safety (CAIS) et Scale AI. Il vise à évaluer des modèles sur des questions expertes, vérifiables et issues de domaines variés, notamment les mathématiques, les sciences naturelles, les sciences humaines, le raisonnement et l’interprétation visuelle.

Son rôle est de tester les capacités des modèles à la frontière des connaissances humaines, au-delà des tâches généralistes. En combinant questions ouvertes à réponse courte et QCM, il sert de repère pour comparer la performance des modèles sur des problèmes exigeants, où les réponses doivent être non ambiguës et vérifiables.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 86 modèles évalués, dont 64 de grands éditeurs. Score médian de l'ensemble : 25,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Humanity's Last Exam indique une forte capacité à traiter des questions académiques expertes, souvent multimodales, avec une réponse contrôlable par une solution vérifiable. Le classement suggère un écart important entre les meilleurs systèmes et la performance médiane observée dans la base, avec Claude Mythos Preview (Anthropic) en tête à 65 %, tandis que le score médian de l’ensemble est de 25 %. Cette lecture doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec une évaluation entièrement indépendante. Les principales limites tiennent aussi à la portée du benchmark, centré sur l’anglais et sur des questions académiques, ainsi qu’aux risques habituels de contamination ou de saturation à mesure que le test devient connu. Humanity's Last Exam révèle donc surtout la capacité relative des modèles à résoudre des tâches expertes vérifiables, sans résumer à lui seul leur utilité générale.

Sources des scores : llm-stats.