RefCOCO-avg

RefCOCO-avg est un benchmark d’ancrage visuel qui évalue la capacité d’un modèle à relier une expression en anglais à l’objet correspondant dans une image, via une boîte englobante. Il agrège les résultats des suites RefCOCO, RefCOCO+ et RefCOCOg, issues d’images MS-COCO.

Ces jeux ont été introduits par Licheng Yu et al. à UNC Chapel Hill pour RefCOCO et RefCOCO+, et par Mao et al. chez Google pour RefCOCOg. RefCOCO-avg sert ainsi de repère synthétique pour mesurer la compréhension d’expressions référentielles, le grounding d’objets et le raisonnement spatial visuel.

Carte d'identité

Classement des modèles (top 7)

Classement établi sur 7 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 92,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur RefCOCO-avg indique qu’un modèle localise correctement les objets décrits par des expressions référentielles, avec une précision calculée à partir du seuil Acc@0.5 IoU puis moyennée sur les trois variantes du benchmark. Dans la base, les scores sont élevés, avec une médiane à 92% et un meilleur résultat à 94% pour Qwen3.6 Plus, ce qui suggère un classement resserré et un risque de saturation partielle. L’interprétation doit rester prudente, car les résultats disponibles sont majoritairement auto-déclarés par les éditeurs, donc moins robustes qu’une évaluation indépendante et reproductible. La portée du test reste également ciblée : il mesure le grounding sur images et expressions en anglais, mais ne couvre pas l’ensemble des capacités multimodales. Comme les images proviennent de MS-COCO, la possibilité de contamination des données d’entraînement doit aussi être prise en compte. Le classement révèle surtout des écarts fins entre modèles déjà très performants sur cette tâche spécifique.

Sources des scores : llm-stats.