GPQA

GPQA est un benchmark conçu par David Rein et al. pour évaluer des capacités de raisonnement scientifique avancé. Il repose sur des QCM rédigés par des experts de domaine en biologie, chimie et physique, avec des questions pensées pour rester difficiles même en présence d’une recherche web.

Dans l’évaluation des modèles d’IA, GPQA sert de test ciblé sur la maîtrise de connaissances expertes et la capacité à mobiliser un raisonnement rigoureux, au-delà de la simple restitution d’informations générales.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 213 modèles évalués, dont 181 de grands éditeurs. Score médian de l'ensemble : 71,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur GPQA indique une forte aptitude à traiter des problèmes scientifiques spécialisés, souvent formulés de manière à limiter les réponses obtenues par recherche directe. La difficulté du jeu est notable, puisque les experts titulaires d’un doctorat atteignent 65 % d’accuracy dans la description originale. Dans la base considérée, le score médian de 72 % et le meilleur résultat, Claude Mythos Preview (Anthropic) à 95 %, suggèrent que les modèles les plus avancés dépassent nettement ce repère humain déclaré, tout en rapprochant le haut du classement d’une zone de saturation. L’interprétation doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec des évaluations indépendantes et strictement contrôlées. Le caractère public du benchmark expose aussi à un risque de contamination. Enfin, GPQA ne couvre qu’un périmètre précis, en anglais, sous forme de QCM, centré sur trois disciplines scientifiques, et ne résume donc pas la compétence générale d’un modèle.

Sources des scores : llm-stats.