Multi-IF

Multi-IF est un benchmark publié par Meta (GenAI) pour évaluer la capacité des grands modèles de langage à suivre des instructions dans des contextes multilingues et multi-tours. Il prolonge l’approche d’IFEval en ajoutant des séquences de dialogue sur plusieurs échanges et des traductions de prompts anglais vers d’autres langues.

Le test mesure le respect d’instructions vérifiables à chaque tour, avec une attention particulière portée à la stabilité du comportement au fil du dialogue, au multilinguisme et à la production de sorties structurées. Il sert à comparer les modèles sur une compétence opérationnelle centrale, souvent sollicitée dans les assistants conversationnels.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 20 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 74,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Multi-IF indique qu’un modèle respecte de manière fiable des consignes explicites, y compris lorsque celles-ci s’enchaînent sur plusieurs tours et dans plusieurs langues. Le classement montre toutefois que la tâche reste discriminante : dans la base considérée, le meilleur score atteint 81 % avec Qwen3-235B-A22B-Thinking-2507, tandis que la médiane s’établit à 74 %. Cet écart suggère une marge de progression, en particulier pour maintenir l’exactitude au fil du dialogue. L’évaluation reste à interpréter avec prudence, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur comparabilité avec des mesures totalement indépendantes. Comme le benchmark est public, un risque de contamination ou d’optimisation ciblée ne peut pas être écarté. Sa portée est aussi spécifique : il mesure le suivi d’instructions vérifiables sur trois tours et dans huit langues, mais ne couvre pas l’ensemble des capacités de raisonnement ou de connaissances. Les résultats signalent enfin une difficulté accrue pour les langues à écriture non latine.

Sources des scores : llm-stats.