SimpleQA

SimpleQA est un benchmark de factualité développé par OpenAI pour évaluer la précision des réponses courtes produites par les grands modèles de langage. Il repose sur des questions ouvertes, factuelles et précises, conçues pour appeler une réponse unique et incontestable.

Son intérêt est de mesurer non seulement la capacité à restituer un fait correct, mais aussi la calibration du modèle, c’est-à-dire sa capacité à reconnaître ce qu’il sait ou ne sait pas. Il sert ainsi de repère ciblé pour comparer la fiabilité factuelle des modèles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 45 modèles évalués, dont 39 de grands éditeurs. Score médian de l'ensemble : 34,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SimpleQA indique une forte aptitude à répondre correctement à des questions factuelles courtes, avec moins d’erreurs sur des faits précis. Le classement disponible dans la base montre un écart marqué entre le score médian de l’ensemble et le meilleur résultat, DeepSeek-V3.2-Exp atteignant un niveau très supérieur à la médiane. Cette hiérarchie suggère que la factualité courte reste un facteur discriminant entre modèles, même sur un benchmark ciblé.

L’interprétation doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur comparabilité avec des évaluations entièrement reproduites et contrôlées. Le caractère public du jeu peut aussi créer un risque de contamination des données d’entraînement ou d’optimisation. Enfin, SimpleQA mesure une portée spécifique : des questions en anglais, ouvertes, à réponse courte et factuelle. Il ne renseigne pas directement sur le raisonnement long, les capacités multilingues, la robustesse conversationnelle ou la gestion de tâches complexes. Des scores très élevés peuvent aussi réduire progressivement le pouvoir discriminant au sommet du classement.

Sources des scores : llm-stats.