OCRBench

OCRBench est un benchmark public proposé par Yuliang Liu et al. en 2023 pour évaluer les capacités d’OCR des grands modèles multimodaux. Il se concentre sur la lecture et l’exploitation de texte visible dans des images, des scènes naturelles et des documents.

Le benchmark repose sur des questions ouvertes à réponse courte associées à des images. Il sert à mesurer non seulement la reconnaissance de texte, mais aussi la capacité à utiliser ce texte dans des tâches de VQA centrée sur le texte et de compréhension documentaire.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 22 modèles évalués, dont 21 de grands éditeurs. Score médian de l'ensemble : 87,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur OCRBench indique qu’un modèle multimodal parvient généralement à identifier du texte dans l’image et à produire une réponse courte conforme à la référence, selon une logique d’accuracy ou d’exact match. La médiane élevée observée dans la base, avec 22 modèles évalués, suggère toutefois une possible saturation partielle du benchmark, le meilleur score recensé atteignant 92% avec Kimi K2.5 (Moonshot AI). L’écart limité avec la médiane à 88% réduit la capacité du classement à distinguer finement les modèles les plus performants. La fiabilité doit aussi être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante. Comme OCRBench est public, un risque de contamination existe pour les modèles entraînés ou ajustés après sa publication. Sa portée reste centrée sur des tâches principalement en anglais et sur 1 000 questions issues de jeux existants, ce qui limite l’extrapolation à d’autres langues ou usages documentaires spécialisés.

Sources des scores : llm-stats.