SimpleQA Verified

Epoch: SimpleQA Verified est un benchmark de factualité créé par Google DeepMind pour évaluer les réponses factuelles courtes des modèles d’IA. Il se concentre sur la factualité paramétrique, c’est-à-dire les connaissances mémorisées par le modèle, et mesure la capacité à produire des réponses exactes sans hallucination.

Le benchmark reprend l’esprit de SimpleQA d’OpenAI tout en cherchant à en corriger certaines limites, notamment les étiquettes bruitées, les biais thématiques et les redondances. Il sert ainsi de test ciblé pour comparer la fiabilité factuelle des modèles dans un format simple de questions-réponses.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 52 modèles évalués, dont 45 de grands éditeurs. Score médian de l'ensemble : 39,1 %.

Notre analyse

Un score élevé sur Epoch: SimpleQA Verified indique une meilleure capacité à restituer des faits courts et vérifiables, avec moins d’erreurs ou d’hallucinations dans un cadre de questions-réponses factuelles. La présence de scores au moins partiellement mesurés par un tiers renforce la comparabilité du classement par rapport à de simples résultats auto-déclarés, même si la couverture exacte des vérifications peut varier selon les modèles.

• La portée reste volontairement étroite : le benchmark mesure la factualité paramétrique en anglais, pas le raisonnement long, l’usage d’outils, la robustesse conversationnelle ou la qualité rédactionnelle.
• Comme pour tout jeu public, la contamination potentielle et l’optimisation spécifique au benchmark doivent être prises en compte, même si le dédoublonnage, l’équilibrage thématique et la réconciliation des sources visent à améliorer la rigueur.
• Le classement montre un écart marqué entre le score médian de la base et le meilleur résultat observé, Gemini 3.1 Pro Preview, ce qui suggère une marge de progression importante sur la véracité factuelle courte.

Sources des scores : epoch.