BoolQ

BoolQ est un benchmark de compréhension de lecture consacré aux questions naturelles à réponse oui/non. Créé par Google AI Language, avec Christopher Clark et al., il évalue la capacité d’un modèle à relier une question à un passage et à produire une réponse booléenne cohérente.

Son intérêt tient au caractère non contraint des questions, issues de formulations naturelles plutôt que de gabarits artificiels. BoolQ sert ainsi à tester une forme d’inférence textuelle proche de l’entailment, utile pour mesurer la robustesse des modèles face à des informations complexes et non strictement factuelles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 10)

Classement établi sur 10 modèles évalués, dont 9 de grands éditeurs. Score médian de l'ensemble : 81,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BoolQ indique qu’un modèle parvient généralement à extraire et relier les indices pertinents d’un passage pour trancher une question oui/non. Dans la base considérée, les résultats disponibles montrent un niveau global déjà élevé, avec une médiane à 82 % et un meilleur score de 88 % pour Hermes 3 70B (Nous Research). Cet écart limité suggère un benchmark relativement disputé en tête, où les gains marginaux doivent être interprétés avec prudence.

• Rigueur : les scores étant majoritairement auto-déclarés par les éditeurs, la comparaison dépend de la transparence des protocoles et peut être moins robuste qu’une évaluation entièrement reproduite par un tiers.
• Limites : l’accès public au jeu facilite l’évaluation, mais impose de considérer le risque de contamination des données d’entraînement. La portée reste centrée sur l’anglais et sur des réponses booléennes, ce qui ne couvre pas toute la diversité du raisonnement ou de la génération longue.

Sources des scores : llm-stats.