GDPval-AA

GDPval-AA est une variante indépendante du benchmark GDPval d’OpenAI, exécutée par Artificial Analysis pour évaluer des modèles d’IA sur des tâches de travail intellectuel à valeur économique réelle. Le test se concentre sur des productions professionnelles ouvertes, proches de livrables attendus dans des métiers comme la finance, la santé ou le juridique.

Son rôle est de compléter les benchmarks académiques par une mesure plus orientée usage professionnel. Le classement repose sur des comparaisons aveugles par paires, converties en score Elo, afin d’estimer quels modèles produisent les résultats les plus utiles dans ce cadre.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 33 modèles évalués, dont 26 de grands éditeurs. Ce benchmark n'étant pas exprimé en pourcentage, la barre prend le score du premier comme référence (100 %). « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur GDPval-AA indique qu’un modèle est plus souvent préféré lors de comparaisons aveugles sur des tâches professionnelles ouvertes, incluant des documents, slides, diagrammes ou tableurs. Le classement met donc en avant une capacité à produire des livrables jugés utiles dans des contextes économiques réels, plutôt qu’une simple réussite à des questions fermées. Dans la base observée, Claude Fable 5 d’Anthropic occupe la première place avec 60 %, au-dessus d’un score médian de 40 %, ce qui suggère encore une marge de progression importante pour l’ensemble des modèles évalués.

La rigueur du protocole tient à l’exécution indépendante par Artificial Analysis et aux comparaisons aveugles, mais l’interprétation reste encadrée par plusieurs limites. Les jugements sont effectués par un LLM, la variante ne couvre qu’un sous-ensemble de tâches, et le périmètre est limité à l’anglais. La fiabilité pratique des résultats dépend aussi du fait que les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Le benchmark paraît peu saturé à ce stade, mais sa portée reste celle de tâches professionnelles simulées et d’un classement relatif, non d’une mesure exhaustive de performance en entreprise.

Sources des scores : llm-stats.