IFBench

IFBench est un benchmark public consacré au suivi d’instructions, créé par l’Allen Institute for AI (AI2) et l’University of Washington. Il évalue la capacité d’un modèle à appliquer des consignes complexes, en particulier lorsque celles-ci imposent des contraintes de sortie vérifiables et situées hors du domaine d’entraînement.

Son rôle est de tester une dimension pratique des modèles de langage : produire une réponse conforme à des règles explicites, plutôt que seulement correcte sur le fond. IFBench s’inscrit ainsi dans l’évaluation de la robustesse instructionnelle et de la généralisation à des formats inédits.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 27 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 70,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur IFBench indique qu’un modèle respecte plus souvent les contraintes vérifiables imposées dans les prompts, y compris lorsqu’elles ne correspondent pas aux contraintes vues pendant l’entraînement. La métrique d’accuracy rend l’évaluation lisible, mais elle réduit la performance à un taux de conformité et ne couvre pas toute la qualité d’une réponse. Les scores de la base doivent aussi être lus avec prudence, car ils sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec une évaluation entièrement reproduite de manière indépendante. Le classement fait apparaître un niveau médian de 71 % sur les modèles recensés et un meilleur score à 82 % pour Nemotron 3 Ultra (550B A55B) (NVIDIA), ce qui suggère une marge de progression plutôt qu’une saturation complète. Les limites principales tiennent à la portée anglophone du jeu, au périmètre restreint des contraintes vérifiables et au risque général de contamination lié aux benchmarks publics.

Sources des scores : llm-stats.