ZEROBench

ZEROBench est un benchmark de vision conçu par University of Cambridge et al. pour évaluer la compréhension visuelle en zero-shot sur des tâches particulièrement difficiles. Il cible des questions ouvertes ou numériques fondées sur des images, avec une exigence élevée en interprétation fine et en raisonnement spatial.

Son rôle est de distinguer les modèles multimodaux capables d’aller au-delà de la reconnaissance visuelle classique. En confrontant les systèmes à des problèmes visuels complexes, ZEROBench sert de test de robustesse pour le raisonnement multimodal de très haute difficulté.

Carte d'identité

Classement des modèles (top 8)

Classement établi sur 8 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 10,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ZEROBench indique une capacité à résoudre des problèmes visuels exigeants sans adaptation spécifique, en combinant perception, raisonnement spatial et réponse précise. L’usage de l’accuracy, avec pass@1 et pass@5, permet d’observer à la fois la réponse directe et la capacité du modèle à produire une solution correcte parmi plusieurs tentatives. La lecture des résultats doit toutefois rester prudente, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec des évaluations entièrement indépendantes.

Le score médian de 11% suggère un benchmark encore très difficile pour les modèles recensés, donc peu saturé à ce stade. Le meilleur résultat connu, Seed 2.1 Turbo (bytedance) à 57%, montre cependant un écart net avec l’ensemble du classement. La portée reste centrée sur l’anglais et sur un jeu restreint mais dense de questions principales et de sous-questions, ce qui en fait un signal spécialisé plutôt qu’une mesure générale des capacités multimodales.

Sources des scores : llm-stats.