MRCR v2 (8-needle)

MRCR v2 (8-needle) est une variante du benchmark Multi-Round Coreference Resolution créée par OpenAI. Il évalue la capacité d’un modèle à retrouver, dans un très long contexte, la bonne occurrence d’une demande dupliquée parmi des distracteurs.

Le test cible le suivi simultané de plusieurs informations identiques, appelées needles, et le raisonnement de coréférence sur des conversations étendues. Il sert à distinguer les modèles capables de maintenir une représentation fiable du contexte lorsque la longueur atteint des échelles très élevées.

Carte d'identité

Classement des modèles (top 10)

Classement établi sur 10 modèles évalués, dont 10 de grands éditeurs. Score médian de l'ensemble : 29,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MRCR v2 (8-needle) indique qu’un modèle parvient à identifier précisément la ième occurrence pertinente d’une demande dupliquée, même lorsque plusieurs éléments similaires se trouvent dans un contexte très long. La métrique, fondée sur un ratio de correspondance de séquence de type SequenceMatcher, mesure la proximité entre la réponse produite et la séquence attendue. L’évaluation est publique et structurée, mais les scores présents dans la base sont majoritairement auto-déclarés par les éditeurs, ce qui invite à interpréter les écarts avec prudence. La portée reste spécialisée : le benchmark mesure surtout la récupération et la coréférence long-contexte en anglais, sans couvrir l’ensemble du raisonnement ou des usages conversationnels. Son caractère public peut aussi exposer à un risque de contamination. Avec un score médian de 30 % et un meilleur résultat à 76 % pour Claude Opus 4.6, le classement suggère une tâche encore loin d’être saturée et discriminante pour les modèles avancés.

Sources des scores : llm-stats.