IFEval

IFEval, pour Instruction-Following Evaluation, est un benchmark proposé par Google Research (Zhou et al.) afin d’évaluer la capacité des grands modèles de langage à respecter des consignes explicites. Il se concentre sur des instructions vérifiables automatiquement, comme des contraintes de format, de longueur, de style ou de contenu.

Le test repose sur de la génération de texte ouverte, mais encadrée par des contraintes précises. Son intérêt est de mesurer une compétence centrale pour les assistants IA : produire une réponse utile tout en suivant fidèlement les règles imposées dans le prompt.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 65 modèles évalués, dont 56 de grands éditeurs. Score médian de l'ensemble : 87,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur IFEval indique qu’un modèle respecte correctement des instructions explicites, y compris lorsque plusieurs contraintes doivent être satisfaites dans une même réponse. Les résultats sont mesurés aux niveaux du prompt et de l’instruction, avec des variantes strict et loose, ce qui permet de distinguer le respect exact des consignes d’une conformité plus tolérante.

L’interprétation doit toutefois rester prudente, car les scores de la base sont majoritairement auto-déclarés par les éditeurs. Le niveau médian élevé, à 87 %, suggère aussi une possible saturation progressive du benchmark pour les modèles récents. IFEval couvre surtout des consignes vérifiables en anglais, ce qui limite sa portée pour juger des capacités générales de raisonnement, de robustesse multilingue ou d’exécution de tâches complexes. Le classement, dominé ici par Qwen3.5-27B à 95 %, met surtout en évidence les modèles les plus fiables dans le suivi formel d’instructions, plutôt qu’une supériorité globale sur l’ensemble des usages IA.

Sources des scores : llm-stats.