Benchmarks
Les benchmarks qui évaluent les modèles d'IA, classés par grande capacité. Chaque fiche détaille ce que mesure le benchmark, son éditeur, sa licence et son accès, ainsi que le classement des meilleurs modèles.
Agents & outils
AndroidWorld_SR
AndroidWorld_SR est un benchmark de Google Research consacré aux agents autonomes multimodaux opérant sur Android. Il évalue leur capacité à interpréter une consigne en langage naturel, percevoir une interface mobile et enchaîner des actions pour mener à bien des tâches concrètes dans…
APEX-Agents
APEX-Agents est un benchmark créé par Mercor pour évaluer des agents IA dans des tâches professionnelles de long horizon. Il cible des workflows de travail de la connaissance hautement qualifiés, où la réussite dépend d’un raisonnement soutenu, d’une planification cohérente et de…
BFCL
BFCL, pour Berkeley Function Calling Leaderboard, est un benchmark conçu par UC Berkeley et l’équipe Gorilla LLM afin d’évaluer l’appel de fonctions par les grands modèles de langage. Il se concentre sur la capacité à comprendre une instruction en langage naturel, à choisir l’outil…
BFCL v2
BFCL v2, pour Berkeley Function Calling Leaderboard v2, est un benchmark public créé par Berkeley Gorilla / UC Berkeley afin d’évaluer les capacités de function calling des grands modèles de langage. Il porte sur la sélection d’outils pertinents, la production d’appels structurés et…
BFCL-v3
BFCL-v3, pour Berkeley Function Calling Leaderboard v3, est un benchmark public conçu par la Gorilla LLM team de l’UC Berkeley. Il évalue la capacité des grands modèles de langage à utiliser des fonctions dans des interactions complexes, multi-tours et multi-étapes, au-delà d’un simple…
BFCL-V4
BFCL-V4, pour Berkeley Function Calling Leaderboard V4, est un benchmark conçu par la Gorilla LLM team de UC Berkeley pour évaluer la capacité des modèles à utiliser correctement des fonctions et des API. Il couvre des scénarios d’appels simples, multiples, parallèles et imbriqués, dans…
BrowseComp
BrowseComp est un benchmark créé par OpenAI pour évaluer des agents IA confrontés à des questions ouvertes nécessitant une recherche web active. Il cible des informations difficiles à trouver, souvent dispersées entre plusieurs sources, avec des réponses attendues courtes et vérifiables.
ComplexFuncBench
ComplexFuncBench est un benchmark consacré à l’appel de fonctions complexe par les grands modèles de langage. Créé par Zhipu AI et l’Université Tsinghua (THUDM), il cible des situations où un modèle doit enchaîner plusieurs étapes de décision dans un seul tour, tout en respectant des…
DeepPlanning
DeepPlanning est un benchmark public conçu par la Qwen Team d’Alibaba, avec Junyang Lin et al., pour évaluer des modèles de langage sur des tâches de planification agentique à long horizon.
DeepSearchQA
DeepSearchQA est un benchmark conçu par Google DeepMind, avec Elena Gribovskaya et ses coauteurs, pour évaluer les capacités de recherche profonde et de question-réponse des agents d’IA. Il cible des tâches de recherche multi-étapes, dans lesquelles un modèle doit enchaîner plusieurs…
EmbSpatialBench
EmbSpatialBench est un benchmark public consacré à l’évaluation de la compréhension et du raisonnement spatial incarné des grands modèles vision-langage. Créé par l’Université Fudan, Mengfei Du et al., il cible des situations en perspective égocentrique, où le modèle doit interpréter des…
Finance Agent
Finance Agent est un benchmark public conçu par Vals AI pour évaluer des modèles d’IA sur des tâches agentiques d’analyse financière. Il porte sur des situations de recherche et d’analyse proches d’usages réels, avec des réponses ouvertes vérifiées plutôt qu’un simple questionnaire fermé.
Audio & parole
CoVoST2
CoVoST2 est un benchmark de traduction parole-texte multilingue, conçu pour évaluer la capacité d’un système à convertir des segments audio en texte dans une autre langue. Créé par Facebook AI Research (Meta AI) avec Changhan Wang et al., il s’appuie sur le corpus Common Voice et sert de…
FLEURS
FLEURS est un benchmark de Google Research consacré à l’évaluation de la parole multilingue. Il s’appuie sur un jeu parallèle d’enregistrements audio, de transcriptions et d’étiquettes dans de nombreuses langues, afin de tester des systèmes capables de traiter la parole au-delà d’un seul…
Autres benchmarks
Agentic Coding
LiveBench: Agentic Coding est une catégorie du benchmark LiveBench consacrée au codage agentique. Créée par l’équipe LiveBench, associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, elle évalue des agents de développement autonomes…
Chess Puzzles
Epoch: Chess Puzzles est un benchmark conçu par Epoch AI pour évaluer la capacité des modèles d’IA à résoudre des positions d’échecs. Chaque tâche consiste à sélectionner le meilleur coup dans une position donnée, avec une réponse de référence validée par Stockfish.
Coding
LiveBench: Coding est la catégorie de LiveBench consacrée à l’évaluation des modèles sur des tâches de programmation. Créé par l’équipe LiveBench, associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, ce benchmark s’appuie sur des…
Coding (Baseline)
Benchable : Coding (Baseline) est un benchmark public créé par Benchable pour évaluer les connaissances en programmation des modèles d’IA. Il prend la forme de questions à choix multiples et couvre un spectre large, allant de la syntaxe de base aux algorithmes, structures de données,…
Data Analysis
LiveBench: Data Analysis est une catégorie du benchmark LiveBench consacrée à l’évaluation des capacités d’analyse de données des modèles d’IA. Créé par l’équipe LiveBench associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, il…
Email Classification (Baseline)
Benchable : Email Classification (Baseline) est un benchmark public conçu par Benchable pour évaluer une tâche simple et fréquente : attribuer à un email une seule catégorie parmi six options prédéfinies, comme Spam, Business, Personnel, Newsletter, Service client ou Transactionnel.
Ethics (Baseline)
Benchable : Ethics (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement éthique des modèles d’IA. Il se concentre sur des situations relevant notamment de l’éthique professionnelle, de l’éthique de la recherche, de l’éthique des technologies et du…
FrontierMath-2025-02-28-Private
Epoch: FrontierMath-2025-02-28-Private est un benchmark privé d’Epoch AI consacré au raisonnement mathématique avancé. Il regroupe des problèmes originaux de niveau recherche, couvrant notamment la théorie des nombres, l’analyse réelle, la géométrie algébrique et la théorie des catégories.
FrontierMath-2025-02-28-Public
Epoch: FrontierMath-2025-02-28-Public est un sous-ensemble public de FrontierMath, créé par Epoch AI et publié en 2025. Il rassemble quelques problèmes rendus publics pour illustrer et tester un benchmark centré sur le raisonnement mathématique avancé, avec des questions de niveau…
FrontierMath-Tier-4-2025-07-01-Private
Epoch: FrontierMath-Tier-4-2025-07-01-Private est une variante privée de FrontierMath, un benchmark conçu par Epoch AI pour tester le raisonnement mathématique avancé des modèles d’IA. Il repose sur des problèmes originaux, élaborés par des experts, avec des réponses courtes et…
FrontierMath-Tier-4-2025-07-01-Public
Epoch: FrontierMath-Tier-4-2025-07-01-Public est un benchmark d’Epoch AI consacré au raisonnement mathématique de niveau recherche. Il porte sur les problèmes les plus difficiles de FrontierMath, formulés comme des questions ouvertes à réponse numérique ou symbolique, soumises sous forme…
FrontierMath-Tier-4-v2-Private
Epoch: FrontierMath-Tier-4-v2-Private est un benchmark conçu par Epoch AI pour évaluer des modèles d’IA sur des problèmes mathématiques originaux et très difficiles. Il cible des tâches ouvertes de mathématiques avancées, avec des réponses courtes ou vérifiables, et met l’accent sur le…
Code & programmation
Aider
Aider est un benchmark d’édition de code créé par Aider-AI, sous l’impulsion de Paul Gauthier. Il évalue la capacité d’un modèle à transformer une consigne de programmation en langage naturel en code Python exécutable, puis à intégrer ce code dans une base existante.
Aider-Polyglot
Aider-Polyglot est un benchmark de programmation créé par Aider, le projet de Paul Gauthier, pour évaluer des modèles d’IA sur des exercices Exercism exigeants. Il se concentre sur la génération de code, l’édition de fichiers et la correction d’erreurs à partir de retours de tests…
Aider-Polyglot Edit
Aider-Polyglot Edit est un benchmark de programmation multilingue publié en 2024 par Aider-AI, sous l’impulsion de Paul Gauthier. Il évalue la capacité des modèles à modifier du code existant, à corriger leurs erreurs et à résoudre des exercices dans plusieurs langages, avec un retour de…
Claw-Eval
Claw-Eval est un benchmark consacré à l’évaluation d’agents autonomes dans des tâches agentiques end-to-end, complexes et multi-étapes. Créé par Bowen Ye et al., de l’Université de Pékin et de l’Université de Hong Kong, il vise à mesurer la capacité d’un modèle à utiliser des outils,…
Codegolf v2.2
Codegolf v2.2 est un benchmark de code golf multimodal consacré à la reproduction d’une cible visuelle avec le code le plus court possible. Créé par Andreas Ebner dans le cadre du projet ClawBattle / beowolve, il s’inscrit dans la lignée d’épreuves de type CSSBattle, où la qualité du…
CyberGym
CyberGym est un benchmark de cybersécurité conçu par UC Berkeley, avec Dawn Song et ses coauteurs, pour évaluer des agents IA sur des tâches liées à des vulnérabilités logicielles réelles. Il met l’accent sur la capacité à comprendre une description de faille, analyser du code et…
FrontierSWE
FrontierSWE est un benchmark de Proximal, aussi connu sous le nom Proximal-Labs, conçu pour évaluer des agents d’IA sur des projets techniques ouverts de très longue durée. Il cible des tâches d’ingénierie qui dépassent les simples exercices de programmation, avec des travaux pouvant…
HumanEval
HumanEval est un benchmark créé par OpenAI pour évaluer la génération de code à partir de descriptions en langage naturel. Il mesure la capacité d’un modèle à comprendre une docstring en anglais et à produire une fonction Python correcte, avec un accent sur la justesse fonctionnelle…
LiveCodeBench
LiveCodeBench est un benchmark d’évaluation des modèles de langage pour le code, publié en 2024 par Naman Jain et al. Il vise à mesurer la capacité des modèles à résoudre des problèmes de programmation récents, avec un accent sur la génération de code correct, la réparation, le…
LiveCodeBench Pro
LiveCodeBench Pro est un benchmark d’évaluation des grands modèles de langage pour le code, centré sur la résolution de problèmes de programmation compétitive. Créé en 2025 par l’équipe LiveCodeBench Pro, dans une collaboration académique incluant Sanjeev Arora et Pramod Viswanath, il…
MCP Atlas
MCP Atlas est un benchmark public conçu par Scale AI pour évaluer la capacité des modèles d’IA à utiliser des outils à grande échelle. Il cible des tâches agentiques complexes, dans lesquelles un modèle doit coordonner plusieurs serveurs et outils MCP réels pour progresser sur des…
Multi-SWE-Bench
Multi-SWE-Bench est un benchmark public publié en 2025 par ByteDance, via l’équipe Seed / Doubao. Il évalue la capacité des LLM à résoudre des problèmes logiciels réels issus de dépôts GitHub, en générant des correctifs validés par les tests du projet concerné.
Connaissances & sciences
ARC-C
ARC-C est le sous-ensemble Challenge de l’AI2 Reasoning Challenge, un benchmark de questions scientifiques de niveau scolaire au format QCM. Créé par AI2 (Allen Institute for AI) avec Peter Clark et al., il cible des questions conçues pour mettre en défaut les approches simples fondées…
ARC-E
ARC-E est la partie « Easy Set » de AI2 Reasoning Challenge, un benchmark conçu par Allen Institute for Artificial Intelligence (AI2) avec Peter Clark et al. Il regroupe des questions scientifiques de niveau scolaire sous forme de QCM, en anglais, afin d’évaluer la capacité des modèles à…
C-Eval
C-Eval est une suite d’évaluation chinoise consacrée aux connaissances disciplinaires et au raisonnement des modèles de fondation. Créé par Y. Huang et al., avec HKUST NLP et des collaborateurs, le benchmark s’inscrit dans un contexte linguistique et académique chinois, à travers des…
Global PIQA
Global PIQA est un benchmark multilingue de raisonnement de bon sens centré sur les interactions physiques. Il prolonge le format PIQA, où un modèle doit choisir la solution correcte à une situation concrète du quotidien, en l’adaptant à un grand nombre de langues et de contextes…
GPQA
GPQA est un benchmark conçu par David Rein et al. pour évaluer des capacités de raisonnement scientifique avancé. Il repose sur des QCM rédigés par des experts de domaine en biologie, chimie et physique, avec des questions pensées pour rester difficiles même en présence d’une recherche…
HealthBench
HealthBench est un benchmark open-source créé par OpenAI pour évaluer les modèles de langage dans des situations de santé. Il s’appuie sur des conversations médicales multi-tours et sur des réponses jugées selon des rubriques, afin d’apprécier la qualité, la sécurité et l’utilité des…
HealthBench Hard
HealthBench Hard est un benchmark d’OpenAI consacré à l’évaluation des grands modèles de langage dans des situations de santé difficiles. Il porte sur des conversations multi-tours, avec des cas cliniquement complexes ou ambigus, afin d’observer la capacité des modèles à produire des…
HealthBench Professional
HealthBench Professional est un benchmark créé par OpenAI pour évaluer des modèles d’IA dans des usages cliniques professionnels. Il repose sur des conversations de type chat, inspirées de cas cliniques réels, et vise des situations comme la consultation, la rédaction de documentation ou…
Include
Include est un benchmark d’évaluation multilingue conçu par Angelika Romanou et al., à l’EPFL et chez Cohere For AI. Il s’appuie sur des examens locaux pour mesurer la capacité des modèles à comprendre des questions ancrées dans des connaissances régionales et culturelles.
LiveCodeBench v5
LiveCodeBench v5 est un benchmark d’évaluation du code conçu par LiveCodeBench, avec des chercheurs de UC Berkeley, MIT et Cornell, dont Naman Jain et al. Il vise à mesurer les capacités des grands modèles de langage sur des tâches de programmation issues de concours récents.
LiveCodeBench v6
LiveCodeBench v6 est un benchmark d’évaluation des grands modèles de langage pour le code, conçu par l’équipe LiveCodeBench, avec des contributions de UC Berkeley, MIT, Cornell et Naman Jain et al. Il vise une mesure holistique et sans contamination des capacités liées à la programmation.
MAXIFE
MAXIFE est un benchmark multilingue publié en 2025 par Waseda University et OPPO AI Center. Il évalue la capacité des modèles de langage à suivre et exécuter des instructions dans plusieurs langues, avec une attention particulière aux situations cross-lingues et aux variations de…
Contexte long
AA-LCR
AA-LCR, pour Agent Arena Long Context Reasoning benchmark, est un benchmark d’Artificial Analysis publié en 2025. Il évalue la capacité des modèles d’IA à raisonner sur de longs contextes, en demandant de synthétiser des informations dispersées dans plusieurs documents.
LongBench v2
LongBench v2 est un benchmark conçu pour évaluer la capacité des grands modèles de langage à traiter des problèmes en contexte très long. Créé par THUDM (Tsinghua University) et al., il cible des situations réalistes où la simple récupération d’information ne suffit pas toujours.
MRCR
MRCR est un benchmark synthétique conçu par OpenAI pour évaluer le raisonnement en contexte long dans des conversations étendues. Il demande aux modèles de retrouver et de reproduire une sortie précise associée à une occurrence donnée d’une requête répétée, dans un environnement où…
MRCR v2
MRCR v2 est un benchmark d’OpenAI consacré au raisonnement en très long contexte. Il prolonge le cadre Multi-Round Coreference Resolution avec une tâche synthétique de conversation multi-tours, conçue pour tester la récupération de plusieurs informations dispersées, la coréférence et la…
MRCR v2 (8-needle)
MRCR v2 (8-needle) est une variante du benchmark Multi-Round Coreference Resolution créée par OpenAI. Il évalue la capacité d’un modèle à retrouver, dans un très long contexte, la bonne occurrence d’une demande dupliquée parmi des distracteurs.
OpenAI-MRCR: 2 needle 128k
OpenAI-MRCR: 2 needle 128k est un benchmark conçu par OpenAI pour évaluer la capacité des modèles à comprendre un très long contexte conversationnel. Il s’inscrit dans la famille des tests de récupération ciblée, mais ajoute une difficulté de résolution de coréférence entre plusieurs…
OpenAI-MRCR: 2 needle 1M
OpenAI-MRCR: 2 needle 1M est un benchmark publié par OpenAI pour évaluer les modèles de langage en long contexte. Il cible une tâche précise : retrouver et restituer une instance donnée parmi plusieurs contenus très similaires, cachés dans une longue conversation synthétique.
RULER
RULER est un benchmark synthétique de contexte long créé par NVIDIA et publié en 2024. Il évalue la capacité des modèles d’IA à exploiter des entrées très étendues, en observant notamment la récupération d’information, le suivi multi-sauts, l’agrégation et la question-réponse.
SQuALITY
SQuALITY est un benchmark de synthèse longue qui transforme la réponse à des questions en exercice de résumé abstrait orienté requête. Il s’appuie sur des nouvelles du domaine public et demande de produire des résumés fidèles, rédigés à partir d’une compréhension fine de textes longs.
Langage & rédaction
Arena Hard
Arena Hard est un benchmark public conçu par LMSYS / Chatbot Arena pour évaluer des modèles conversationnels instruction-tuned sur des requêtes ouvertes difficiles. Il cible des tâches proches d’usages réels, incluant raisonnement, programmation, mathématiques, écriture et créativité.
Arena-Hard v2
Arena-Hard v2 est un benchmark conçu par LMArena (ex-LMSYS), avec Tianle Li, Wei-Lin Chiang et leurs coauteurs, pour évaluer les grands modèles de langage sur des requêtes ouvertes issues d’usages réels. Il cible des tâches difficiles, notamment en ingénierie logicielle, en…
BIG-Bench Extra Hard
BIG-Bench Extra Hard est un benchmark public créé par Google DeepMind pour évaluer des capacités de raisonnement général difficiles et variées. Il prolonge l’esprit de BIG-Bench Hard en remplaçant chaque tâche par une variante nouvelle, conçue pour être nettement plus exigeante.
BoolQ
BoolQ est un benchmark de compréhension de lecture consacré aux questions naturelles à réponse oui/non. Créé par Google AI Language, avec Christopher Clark et al., il évalue la capacité d’un modèle à relier une question à un passage et à produire une réponse booléenne cohérente.
CMMLU
CMMLU, pour Chinese Massive Multitask Language Understanding, est un benchmark créé par Haonan Li et al. afin d’évaluer les grands modèles de langage dans un contexte chinois. Il repose sur des questions à choix multiples et couvre un large spectre de matières, des sciences naturelles…
COLLIE
COLLIE est un benchmark consacré à la génération de texte sous contraintes compositionnelles. Créé par Princeton University et des collaborateurs, il repose sur un cadre grammatical permettant de construire systématiquement des tâches où un modèle doit produire du texte tout en…
Creative Writing v3
Creative Writing v3 est un benchmark public d’EQ-Bench, créé par Samuel J. Paech, consacré à l’évaluation de l’écriture créative des modèles de langage. Il s’appuie sur des réponses à des prompts d’écriture, jugées par un LLM, afin d’examiner des dimensions comme l’humour, la romance, la…
CSimpleQA
CSimpleQA est un benchmark public consacré à l’évaluation de la factualité des modèles de langage en chinois. Créé par Alibaba Group, via OpenStellarTeam, il reprend l’esprit de SimpleQA pour tester la capacité à répondre correctement à des questions factuelles courtes, avec une…
ECLeKTic
ECLeKTic est un benchmark de Google Research et Google DeepMind consacré au transfert de connaissances cross-lingue dans les grands modèles de langage. Il évalue la capacité à répondre en closed-book à des questions dont l’information de référence n’existe que dans une seule langue, à…
Global-MMLU
Global-MMLU est un benchmark d’évaluation multilingue consacré aux connaissances académiques et au raisonnement. Créé par Cohere For AI, avec des collaborateurs issus notamment de l’EPFL, Hugging Face, Mila et McGill, il étend l’esprit de MMLU à un cadre plus large, couvrant de…
Global-MMLU-Lite
Global-MMLU-Lite est une version légère du benchmark Global MMLU, créée par Cohere Labs (Cohere For AI) pour évaluer des modèles de langage dans un contexte multilingue. Il repose sur des questions à choix multiples et vise à mesurer la connaissance et le raisonnement dans plusieurs…
IFBench
IFBench est un benchmark public consacré au suivi d’instructions, créé par l’Allen Institute for AI (AI2) et l’University of Washington. Il évalue la capacité d’un modèle à appliquer des consignes complexes, en particulier lorsque celles-ci imposent des contraintes de sortie vérifiables…
Mathématiques
AGIEval
AGIEval est un benchmark conçu par Microsoft Research et Wanjun Zhong et al. pour évaluer des modèles de fondation à partir d’examens standardisés. Son approche se veut centrée sur des tâches proches de contextes académiques et professionnels réels, avec des épreuves issues notamment…
AIME 2024
AIME 2024 est un benchmark issu de l’American Invitational Mathematics Examination, organisé par la Mathematical Association of America via les American Mathematics Competitions. Il regroupe des problèmes de raisonnement mathématique exigeants, formulés en anglais, avec des réponses…
AIME 2025
AIME 2025 est un benchmark issu de l’American Invitational Mathematics Examination, conçu par la Mathematical Association of America. Il reprend les problèmes de l’édition 2025 de l’AIME I et de l’AIME II, un format centré sur des questions ouvertes à réponse courte.
AIME 2026
AIME 2026 est un benchmark issu de l’American Invitational Mathematics Examination, conçu par la Mathematical Association of America. Il reprend des problèmes de mathématiques de niveau olympiade et sert à mesurer la capacité des modèles d’IA à produire une réponse courte exacte après un…
AlignBench
AlignBench est un benchmark public conçu par THUDM, Tsinghua University et al. pour évaluer l’alignement des grands modèles de langage en chinois. Il se concentre sur des requêtes ouvertes et des instructions ancrées dans des scénarios réels, avec des réponses de référence vérifiées…
AMC_2022_23
AMC_2022_23 est un benchmark issu des compétitions American Mathematics Competition de l’année scolaire 2022-23, organisées par la Mathematical Association of America. Il rassemble des problèmes de mathématiques à choix multiples conçus pour des lycéens, avec un accent sur le…
BBH
BBH, pour Big-Bench Hard, est un benchmark d’évaluation du raisonnement créé par Mirac Suzgun et al. Il regroupe des tâches difficiles issues de BIG-Bench, choisies parce que les évaluations antérieures de modèles de langage n’y dépassaient pas la performance moyenne d’annotateurs humains.
Beyond AIME
Beyond AIME est un benchmark de raisonnement mathématique publié en 2025 par l’équipe Seed de ByteDance. Il s’inscrit dans la famille des évaluations inspirées des concours de mathématiques, avec des problèmes originaux à réponse courte ou numérique.
BIG-Bench Hard
BIG-Bench Hard est un benchmark d’évaluation en anglais conçu par M. Suzgun et al. pour isoler des tâches de BIG-Bench particulièrement difficiles pour les modèles de langage. Il cible des problèmes où les évaluations antérieures ne dépassaient pas la performance moyenne de correcteurs…
CodeForces
CodeForces est un benchmark de programmation compétitive fondé sur des problèmes issus de la plateforme Codeforces. Il évalue la capacité des modèles de langage à comprendre des énoncés algorithmiques exigeants, à concevoir une solution efficace et à produire du code exécutable.
DROP
DROP, pour Discrete Reasoning Over Paragraphs, est un benchmark de compréhension écrite conçu par Allen Institute for AI et UC Irvine, avec Dheeru Dua et al. Publié en 2019, il évalue la capacité d’un modèle à répondre à des questions ouvertes à réponse courte à partir de paragraphes en…
DynaMath
DynaMath est un benchmark de raisonnement mathématique multimodal publié par l’University of Illinois Urbana-Champaign. Il évalue la capacité des modèles à résoudre des problèmes visuels dont les éléments numériques, textuels ou graphiques varient de manière dynamique.
Raisonnement
Bird-SQL (dev)
Bird-SQL (dev) est le split de développement du benchmark BIRD, conçu par Jinyang Li et al. au sein de la BIRD team. Il évalue la génération de requêtes SQL à partir de questions en anglais formulées en langage naturel, dans des contextes de bases de données réalistes.
HellaSwag
HellaSwag est un benchmark de compréhension du langage naturel centré sur le raisonnement de bon sens. Créé par Rowan Zellers et al. à l’University of Washington et à l’Allen Institute for AI, il propose des situations quotidiennes ou physiques dont il faut sélectionner la suite la plus…
HumanEval+
HumanEval+ est un benchmark de génération de code Python conçu pour évaluer la correction fonctionnelle des programmes produits par des modèles d’IA. Créé par Jiawei Liu, Chunqiu Steven Xia, Yuyao Wang, Lingming Zhang et l’équipe EvalPlus, il prolonge HumanEval avec une suite de tests…
OJBench
OJBench est un benchmark de code de niveau compétition publié par BUPT et Moonshot AI. Il évalue la capacité des grands modèles de langage à raisonner sur des problèmes d’algorithmique avancée, dans un cadre proche de la programmation compétitive.
ZebraLogic
ZebraLogic est un benchmark d’évaluation du raisonnement logique des grands modèles de langage, construit autour de puzzles de grille logique dérivés de problèmes de satisfaction de contraintes. Publié en 2025 par Bill Yuchen Lin et al., dans des travaux associés à Allen Institute for AI…
Recherche & embeddings
BrowseComp Long Context 128k
BrowseComp Long Context 128k est une déclinaison en contexte long du benchmark BrowseComp, créé par OpenAI à partir du travail de Jason Wei et al. Il évalue des agents capables de naviguer sur le web de façon persistante afin de retrouver des informations factuelles difficiles à localiser.
BrowseComp-zh
BrowseComp-zh est un benchmark conçu pour évaluer des agents LLM dans des tâches de navigation et de recherche d’information sur le web chinois. Créé par les auteurs BrowseComp-ZH, Peilin Zhou et al., il se concentre sur des questions multi-sauts à réponse courte, objective et vérifiable.
FACTS Grounding
FACTS Grounding est un benchmark publié en 2024 par Google DeepMind et Google Research pour évaluer la capacité des modèles de langage à produire des réponses longues, exactes et strictement ancrées dans un contexte fourni.
MVEB
MTEB: MVEB est un benchmark du projet MTEB / embeddings-benchmark, associé notamment à El Assadi, Solomatin, Muennighoff et Enevoldsen. Publié en 2026, il évalue la qualité des embeddings vidéo audio-visuels, c’est-à-dire la capacité d’un modèle à produire des représentations…
MVEB Video-Only
MTEB: MVEB Video-Only est un benchmark public consacré à l’évaluation des embeddings vidéo, dans le cadre de l’écosystème MTEB. Il a été créé par MTEB (embeddings-benchmark), avec El Assadi, Solomatin, Muennighoff, Enevoldsen et al., pour isoler les performances d’encodeurs vidéo…
MVEB Video-Text
MTEB: MVEB Video-Text est un benchmark public consacré à l’évaluation des embeddings texte-vidéo. Créé par MTEB, embeddings-benchmark, avec El Assadi, Solomatin, Muennighoff, Enevoldsen et al., il s’inscrit dans l’écosystème MVEB et cible les modèles dépourvus d’encodeur audio.
Natural Questions
Natural Questions est un benchmark de question answering créé par Google AI Language avec T. Kwiatkowski et al. Il repose sur de vraies requêtes anonymisées adressées au moteur de recherche Google, puis reliées à des pages Wikipédia annotées.
Seal-0
Seal-0 est un benchmark public consacré à la recherche augmentée robuste. Créé en 2025 par les auteurs de SealQA, Thinh Pham, Nguyen Nguyen, Pratibha Zunjare, Weiyuan Chen, Yu-Min Tseng et Tu Vu, il évalue la capacité des modèles à répondre à des questions factuelles lorsque les…
Sûreté & factualité
Vision & multimodal
AI2D
AI2D est un benchmark consacré à la compréhension de diagrammes scientifiques issus des sciences naturelles scolaires. Créé par l’Allen Institute for Artificial Intelligence avec Kembhavi et al., il repose sur des schémas illustratifs accompagnés de questions à choix multiples en anglais.
ARC-AGI
ARC-AGI est un benchmark d’abstraction et de raisonnement créé par François Chollet. Il évalue la capacité d’un système à déduire une règle générale à partir de quelques exemples, puis à l’appliquer à de nouvelles grilles visuelles.
ARC-AGI v2
ARC-AGI v2 est un benchmark conçu pour évaluer le raisonnement abstrait des systèmes d’IA à partir de tâches visuelles de transformation de grilles. Créé par ARC Prize Foundation, avec François Chollet, Mike Knoop, Gregory Kamradt et d’autres contributeurs, il prolonge l’approche ARC…
BabyVision
BabyVision est un benchmark consacré au raisonnement visuel précoce, inspiré de tâches de vision de type enfant. Créé par les auteurs BabyVision, dont Liang Chen, Baobao Chang et UniPat-AI, il vise à isoler des capacités perceptives élémentaires plutôt qu’à mesurer des connaissances…
BLINK
BLINK est un benchmark publié en 2024 par Zeyi Fu et al. pour évaluer la perception visuelle fondamentale des modèles multimodaux. Il reformule des tâches classiques de vision par ordinateur sous forme de QCM associés à une ou plusieurs images, afin de tester des capacités qui dépassent…
CC-OCR
CC-OCR est un benchmark public conçu par Alibaba Group, via Alibaba Research et l’équipe Qwen, pour évaluer les grands modèles multimodaux sur des tâches d’alphabétisation visuelle. Il se concentre sur la capacité à lire, comprendre et structurer du texte présent dans des images variées.
CharadesSTA
CharadesSTA est un benchmark consacré à la localisation temporelle d’activités dans des vidéos à partir de requêtes en langage naturel. Créé par Jiyang Gao, Chen Sun, Zhenheng Yang et Ram Nevatia, il prolonge Charades avec des annotations temporelles associées à des phrases descriptives.
ChartQA
ChartQA est un benchmark consacré à la compréhension de graphiques, publié en 2022 par Ahmed Masry et al. Il évalue la capacité des modèles à répondre à des questions ouvertes courtes portant sur des visualisations, avec des réponses textuelles ou numériques.
CharXiv-D
CharXiv-D est le sous-ensemble descriptif de CharXiv, un benchmark consacré à la compréhension de graphiques scientifiques par des modèles multimodaux. Créé par Princeton Language and Intelligence (Princeton University), UW-Madison et University of Hong Kong, il s’appuie sur des figures…
CharXiv-R
CharXiv-R est le volet de raisonnement du benchmark CharXiv, créé par Princeton University avec Zirui Wang, Danqi Chen, Sanjeev Arora et leurs coauteurs. Il cible la compréhension de graphiques scientifiques issus d’articles arXiv, avec des questions ouvertes qui demandent de relier…
CountBench
CountBench est un benchmark de vision-langage consacré au comptage d’objets dans les images. Créé par Google Research et le Weizmann Institute of Science, il évalue la capacité d’un modèle à relier une scène visuelle à une réponse quantitative correcte.
DocVQA
DocVQA est un benchmark de Visual Question Answering appliqué aux images de documents, publié en 2020 par M. Mathew, D. Karatzas et R. Manmatha. Il vise à évaluer la capacité d’un modèle à lire un document visuel, à en comprendre la structure et à retrouver l’information pertinente pour…