DROP

DROP, pour Discrete Reasoning Over Paragraphs, est un benchmark de compréhension écrite conçu par Allen Institute for AI et UC Irvine, avec Dheeru Dua et al. Publié en 2019, il évalue la capacité d’un modèle à répondre à des questions ouvertes à réponse courte à partir de paragraphes en anglais.

Sa particularité est de cibler le raisonnement discret sur le contenu textuel: comptage, addition, comparaison, tri et résolution de références. DROP sert ainsi à tester une compréhension plus profonde que la simple reconnaissance de paraphrases ou d’entités.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 29 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 79,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur DROP indique qu’un modèle parvient à combiner compréhension de texte et opérations discrètes, notamment lorsqu’une réponse suppose de relier plusieurs éléments d’un paragraphe avant de produire une réponse courte. Les métriques F1 et exact match favorisent les réponses précises, mais ne décrivent pas toujours la nature exacte du raisonnement effectué. Le jeu de test privé, dont les réponses ne sont pas divulguées, renforce la rigueur de l’évaluation. Dans la base, la fiabilité reste toutefois à interpréter avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Le classement montre un niveau global déjà élevé, avec un score médian de 79 % sur les modèles suivis et un meilleur résultat de 92 % pour DeepSeek-V3. Cette proximité relative avec le haut de l’échelle peut signaler une forme de saturation. Les limites tiennent aussi à la portée du benchmark, centré sur l’anglais et sur un type précis de raisonnement sur paragraphes, ainsi qu’au risque général de contamination des données d’entraînement.

Sources des scores : llm-stats.