BLINK

BLINK est un benchmark publié en 2024 par Zeyi Fu et al. pour évaluer la perception visuelle fondamentale des modèles multimodaux. Il reformule des tâches classiques de vision par ordinateur sous forme de QCM associés à une ou plusieurs images, afin de tester des capacités qui dépassent la simple reconnaissance d’objets.

Le benchmark cible notamment la profondeur relative, les correspondances visuelles, la localisation, le comptage, le raisonnement spatial, le raisonnement multi-vues et la détection forensique. Son rôle est de mesurer si un modèle multimodal perçoit réellement les relations visuelles, plutôt que de seulement produire des réponses plausibles à partir du texte ou d’indices superficiels.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 13)

Classement établi sur 13 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 67,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BLINK indique une meilleure capacité à résoudre des problèmes visuels élémentaires présentés sous forme de choix multiples, avec des images seules ou multiples. Le classement suggère un écart encore marqué entre les modèles, le meilleur résultat recensé dans la base étant obtenu par Seed 2.1 Pro, tandis que le score médian reste inférieur. Cette distribution montre que la perception visuelle fine demeure un point de différenciation important pour les modèles multimodaux.

La lecture des résultats doit toutefois rester prudente. Les scores disponibles sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec une évaluation entièrement reproduite dans un cadre indépendant. BLINK mesure un ensemble ciblé de capacités perceptives en anglais et sous format QCM, ce qui ne couvre pas toute la compréhension visuelle ni les usages ouverts. Comme pour tout benchmark public, la contamination des données d’évaluation et la saturation progressive peuvent aussi réduire son pouvoir discriminant au fil du temps.

Sources des scores : llm-stats.