TIR-Bench

TIR-Bench est un benchmark multimodal centré sur le raisonnement agentique avec images et outils. Créé par agents-x-project, équipe TIR-Bench menée par Ming Li et al., il évalue la capacité d’un modèle à « penser avec les images », c’est-à-dire à créer, manipuler et exploiter des images dans sa chaîne de raisonnement.

Le test cible le suivi d’instructions visuelles et la fiabilité d’exécution dans des scénarios où le modèle doit interagir avec des outils. Il sert ainsi à mesurer une compétence plus opérationnelle que la simple compréhension d’image, proche de l’usage réel d’agents multimodaux.

Carte d'identité

Classement des modèles (top 4)

Classement établi sur 4 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 57,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TIR-Bench indique qu’un modèle parvient mieux à suivre des consignes visuelles, à utiliser des outils et à produire des résultats corrects dans des tâches de raisonnement multimodal. L’exactitude mesure directement la réussite des exécutions attendues, mais l’interprétation doit rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Le classement actuel, fondé sur un petit ensemble de modèles évalués, montre un écart limité autour d’un niveau médian de 58 %, avec Qwen3.6 Plus en tête à 62 %. Cette proximité suggère que le benchmark distingue encore les performances, sans signaler une saturation manifeste dans les données disponibles. Ses limites tiennent surtout à sa portée spécialisée, centrée sur 13 tâches de thinking-with-images en anglais multimodal, et au risque général de contamination associé aux benchmarks publics. TIR-Bench doit donc être lu comme un indicateur ciblé de fiabilité agentique visuelle, plutôt que comme une mesure globale des capacités d’un modèle.

Sources des scores : llm-stats.