DocVQA

DocVQA est un benchmark de Visual Question Answering appliqué aux images de documents, publié en 2020 par M. Mathew, D. Karatzas et R. Manmatha. Il vise à évaluer la capacité d’un modèle à lire un document visuel, à en comprendre la structure et à retrouver l’information pertinente pour répondre à une question ouverte courte.

Son intérêt tient à la combinaison entre perception visuelle, compréhension de la mise en page et extraction d’information. DocVQA sert ainsi de repère pour mesurer les modèles capables de traiter des documents réels, au-delà de la simple reconnaissance de texte.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 26 modèles évalués, dont 26 de grands éditeurs. Score médian de l'ensemble : 93,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur DocVQA indique qu’un modèle sait exploiter le contenu textuel et l’organisation visuelle d’un document pour produire une réponse courte pertinente. La métrique ANLS valorise les réponses proches de la vérité attendue, ce qui convient à des tâches d’extraction où de petites variations de forme peuvent exister. L’évaluation reste toutefois à interpréter avec prudence : le jeu de test est privé et ses réponses ne sont pas divulguées, mais les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. La comparaison dépend donc de la rigueur de chaque soumission. Le niveau médian élevé, 93 %, et l’écart limité avec le meilleur résultat, Qwen2.5 VL 72B Instruct à 96 %, suggèrent une forme de saturation du classement parmi les modèles évalués. Les limites portent aussi sur la portée du test, centré sur des documents en anglais et des réponses courtes, ainsi que sur l’impossibilité d’écarter totalement les effets de contamination à partir des seules informations publiées.

Sources des scores : llm-stats.