CC-OCR

CC-OCR est un benchmark public conçu par Alibaba Group, via Alibaba Research et l’équipe Qwen, pour évaluer les grands modèles multimodaux sur des tâches d’alphabétisation visuelle. Il se concentre sur la capacité à lire, comprendre et structurer du texte présent dans des images variées.

Le test couvre des situations d’OCR multi-scènes et multilingues, le parsing de documents et l’extraction d’informations clés. Il sert à mesurer la fiabilité des modèles face à des textes orientés différemment, des documents complexes et des risques d’hallucination ou de répétition.

Carte d'identité

Classement des modèles (top 18)

Classement établi sur 18 modèles évalués, dont 18 de grands éditeurs. Score médian de l'ensemble : 80,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CC-OCR indique une bonne maîtrise des tâches d’OCR multimodal, notamment la reconnaissance de texte dans des scènes diverses, la lecture multilingue, la structuration de documents et l’extraction d’informations clés. Les scores reposent sur des mesures par track, fondées sur la distance d’édition et le F1, puis agrégées en un score global. La lecture du classement doit toutefois rester prudente: les résultats sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec une évaluation entièrement indépendante. Le benchmark étant public, il ne permet pas à lui seul d’écarter les effets d’optimisation ciblée ou de contamination des données. La portée reste aussi spécialisée: un bon résultat renseigne surtout sur la littératie visuelle et documentaire, pas sur l’ensemble des capacités d’un modèle. Le classement disponible révèle surtout les performances de modèles Qwen, puisque tous les modèles classés dans la base sont édités par Qwen, également impliqué dans le développement du benchmark. Il n’offre donc pas une comparaison indépendante avec d’autres éditeurs.

Sources des scores : llm-stats.