ODinW

ODinW, pour Object Detection in the Wild, est un benchmark de détection d’objets conçu par Microsoft au sein de l’équipe GLIP, associée notamment à Liunian Harold Li et Pengchuan Zhang. Il sert à évaluer la capacité de modèles de détection à se transférer vers des jeux de données réels et variés.

Le benchmark met l’accent sur le transfert au niveau tâche, en combinant précision de prédiction et efficacité d’adaptation. Il couvre des scénarios de détection par boîtes englobantes, notamment en zero-shot et few-shot, avec des catégories textuelles en anglais.

Carte d'identité

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 44,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ODinW indique qu’un modèle parvient à réutiliser ses capacités de détection sur des contextes visuels divers sans dépendre uniquement d’un entraînement spécialisé sur chaque jeu. La mesure en mAP rend compte de la qualité des boîtes englobantes et de l’identification des objets, mais elle ne résume pas à elle seule la robustesse opérationnelle d’un système. Dans cette base, les scores sont majoritairement auto-déclarés par les éditeurs, ce qui invite à les interpréter avec prudence en l’absence d’un protocole uniformément vérifié. Le caractère public du benchmark peut aussi exposer à des effets de contamination ou d’optimisation ciblée, et sa portée reste centrée sur la détection d’objets, avec des catégories textuelles en anglais. Le classement montre un ensemble relativement resserré: sur 16 modèles évalués, la médiane atteint 45 %, tandis que Qwen3.6 Plus se détache à 52 %, suggérant des écarts réels mais limités dans ce cadre d’évaluation.

Sources des scores : llm-stats.