SuperGPQA

SuperGPQA est un benchmark public conçu pour évaluer les grands modèles de langage sur des connaissances académiques avancées et du raisonnement de niveau master ou doctorat. Créé par M-A-P, ByteDance Seed et 2077.AI, il couvre un très large spectre de disciplines, y compris des domaines spécialisés rarement représentés dans les évaluations généralistes.

Le test repose sur des QCM en anglais et vise à mesurer l’exactitude des réponses dans des contextes exigeants. Son intérêt est de situer les modèles au-delà des tâches de culture générale, en examinant leur capacité à mobiliser des savoirs experts.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 34 modèles évalués, dont 29 de grands éditeurs. Score médian de l'ensemble : 59,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SuperGPQA indique une forte capacité à répondre correctement à des questions académiques complexes, dans des domaines variés et parfois très spécialisés. Le benchmark reste difficile dans la base observée: le meilleur modèle recensé, Qwen3.7 Max, atteint 74 %, tandis que le score médian est de 60 %, ce qui suggère une marge de progression importante et une saturation limitée à ce stade. L’interprétation doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière homogène par un tiers. Sa portée est aussi circonscrite: questions à choix multiple, langue anglaise, cadre académique de niveau études supérieures. Comme pour tout benchmark public, l’exposition des questions peut créer un risque de contamination des données d’entraînement. Le classement met surtout en évidence les modèles les plus solides sur la connaissance experte et le raisonnement académique, sans résumer à lui seul leurs performances en production ou sur des tâches ouvertes.

Sources des scores : llm-stats.