Hallusion Bench

Hallusion Bench est un benchmark public conçu par Tianyi Guan et al. pour évaluer le raisonnement multimodal image-texte des grands modèles vision-langage. Il s’intéresse à leur capacité à répondre à des questions oui/non en s’appuyant à la fois sur une image et sur un contexte textuel.

Le benchmark cible deux fragilités importantes des LVLMs : les hallucinations linguistiques et les illusions visuelles. Il sert ainsi à mesurer la robustesse des modèles lorsque l’information visuelle et le langage peuvent induire des erreurs d’interprétation.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 64,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Hallusion Bench indique qu’un modèle parvient plus souvent à aligner correctement l’information visuelle et le contexte textuel, tout en résistant aux réponses plausibles mais fausses. La métrique utilisée, l’accuracy, facilite la comparaison directe, mais la fiabilité du classement doit être interprétée avec prudence, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante.

Le score médian de 65% et le meilleur résultat observé, Qwen3.5-27B à 70%, suggèrent un benchmark encore discriminant dans l’ensemble évalué, sans saturation manifeste. Le classement met en avant des écarts de performance sur une compétence précise, le raisonnement image-contexte sous contrainte d’hallucination, plutôt qu’une capacité générale. Ses limites tiennent à sa portée linguistique en anglais, à son format oui/non et au risque habituel de contamination des jeux publics, qui peut affecter l’interprétation des résultats.

Sources des scores : llm-stats.