Winogrande

Winogrande est un benchmark en anglais consacré au raisonnement de sens commun et à la résolution de coréférence dans des phrases ambiguës. Créé par Allen Institute for AI (AI2), University of Washington et K. Sakaguchi et al., il prolonge l’esprit du Winograd Schema Challenge avec un jeu de problèmes à grande échelle.

Le benchmark repose sur des QCM binaires où un modèle doit choisir la bonne référence d’un pronom. Son rôle est d’évaluer si un système exploite une compréhension plausible du contexte ou s’appuie sur des raccourcis statistiques.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 22 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 78,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Winogrande indique une meilleure capacité à résoudre des ambiguïtés linguistiques simples en apparence, mais dépendantes du sens commun. L’adversarial filtering vise à limiter les biais superficiels du jeu, ce qui renforce l’intérêt du test pour comparer des modèles de langage. Les résultats de la base restent toutefois à interpréter avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs et le jeu de test privé ne publie pas les réponses. Le classement montre un niveau déjà élevé, avec une médiane à 79 % sur 22 modèles et GPT-4 (OpenAI) en tête à 88 %, mais cet écart reste inférieur à la performance humaine indiquée à 94,0 %. Les limites portent sur la portée linguistique, limitée à l’anglais, le risque de contamination lié à la notoriété du benchmark, et une possible saturation progressive lorsque les modèles approchent les meilleurs scores observés.

Sources des scores : llm-stats.