TriviaQA

TriviaQA est un benchmark de compréhension de lecture publié en 2017 par Mandar Joshi et al. à l’University of Washington. Il repose sur des questions de culture générale associées à des documents de preuve, afin d’évaluer la capacité d’un modèle à retrouver une information pertinente et à formuler une réponse courte.

Le benchmark met l’accent sur des questions relativement complexes, avec une forte variabilité lexicale et syntaxique. Il sert ainsi à mesurer non seulement l’extraction d’information, mais aussi le raisonnement multi-phrases nécessaire pour relier plusieurs éléments d’un document.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 18)

Classement établi sur 18 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 74,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TriviaQA indique qu’un modèle parvient généralement à identifier la bonne réponse dans des documents de preuve et à gérer des formulations variées de questions ouvertes. Les métriques exact match et F1 valorisent à la fois la correspondance stricte avec la réponse attendue et la proximité textuelle, ce qui rend le benchmark utile pour comparer des systèmes de question-réponse en anglais.

L’interprétation du classement demande toutefois de la prudence. Les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs, ce qui limite la rigueur comparative par rapport à une évaluation entièrement contrôlée. Le score médian de 75% sur 18 modèles suggère un niveau de performance déjà élevé, tandis que Kimi K2 Base (Moonshot AI) atteint 85%, en tête de l’ensemble recensé. Cette hiérarchie reflète surtout la maîtrise de la compréhension de texte avec preuves, sans couvrir d’autres langues ni garantir l’absence de contamination liée à un jeu public et ancien.

Sources des scores : llm-stats.