GPQA diamond

Epoch: GPQA diamond est un benchmark issu de GPQA, créé par D. Rein et al., centré sur des questions scientifiques à choix multiple de niveau doctorat. Son sous-ensemble Diamond correspond à la partie la plus sélective du jeu, avec des questions conçues pour résister aux réponses simples par recherche web.

Il mesure la capacité des modèles à mobiliser une expertise avancée et un raisonnement robuste en biologie, chimie et physique. Dans une modelothèque, il sert à comparer la performance sur des tâches scientifiques exigeantes, au-delà de la simple restitution de connaissances générales.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 132 modèles évalués, dont 115 de grands éditeurs. Score médian de l'ensemble : 63,3 %.

Notre analyse

Un score élevé sur Epoch: GPQA diamond indique une forte capacité à traiter des QCM scientifiques complexes, où la réponse correcte suppose généralement une compréhension spécialisée et un raisonnement fiable. Le classement disponible dans la base, avec 132 modèles évalués, montre un écart important entre le score médian de 63% et le meilleur résultat, OpenAI: GPT-5.4 Pro à 95%, ce qui suggère une différenciation nette entre modèles sur ce type de tâche.

La fiabilité des scores est renforcée par le fait qu’ils sont au moins partiellement mesurés par un tiers, même si cela ne garantit pas une homogénéité parfaite entre toutes les évaluations. Plusieurs limites restent à prendre en compte : un score proche du maximum peut réduire la capacité du benchmark à départager les meilleurs modèles, une contamination des données d’entraînement ne peut jamais être totalement exclue, et la portée demeure concentrée sur des QCM scientifiques en anglais, principalement en biologie, chimie et physique.

Sources des scores : epoch.