HellaSwag

HellaSwag est un benchmark de compréhension du langage naturel centré sur le raisonnement de bon sens. Créé par Rowan Zellers et al. à l’University of Washington et à l’Allen Institute for AI, il propose des situations quotidiennes ou physiques dont il faut sélectionner la suite la plus plausible parmi quatre complétions.

Le jeu s’est imposé comme un repère pour tester la capacité des modèles à dépasser les associations superficielles. Sa construction par Adversarial Filtering vise à produire des questions faciles pour les humains, mais difficiles pour les modèles, afin d’évaluer la robustesse du raisonnement contextuel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 27 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 83,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HellaSwag indique qu’un modèle choisit fréquemment la continuation la plus vraisemblable d’une scène courante, ce qui reflète une bonne maîtrise des régularités physiques et sociales exprimées en anglais. Dans la base, les résultats couvrent 27 modèles, avec un score médian de 84% et un meilleur score attribué à Claude 3 Opus (Anthropic), à 95%. Cet écart suggère que le benchmark reste discriminant, mais proche d’une zone de saturation pour les modèles les plus performants.

La lecture du classement doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de façon indépendante. HellaSwag évalue une forme ciblée de bon sens par QCM de complétion, non une compréhension générale du monde ni une capacité de raisonnement ouverte. Sa diffusion publique peut aussi exposer le jeu à des risques de contamination des données d’entraînement. Le classement met surtout en évidence la solidité des grands modèles sur des tâches de plausibilité linguistique et situationnelle.

Sources des scores : llm-stats.