Include

Include est un benchmark d’évaluation multilingue conçu par Angelika Romanou et al., à l’EPFL et chez Cohere For AI. Il s’appuie sur des examens locaux pour mesurer la capacité des modèles à comprendre des questions ancrées dans des connaissances régionales et culturelles.

Le benchmark couvre des QCM en 44 langues, avec 15 écritures et des contextes issus de 52 pays. Il sert à évaluer si un modèle généralise au-delà des ressources dominantes, en particulier dans des environnements linguistiques et culturels moins représentés.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 31 modèles évalués, dont 31 de grands éditeurs. Score médian de l'ensemble : 75,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Include indique une bonne capacité à répondre à des QCM multilingues liés à des programmes et contextes locaux. La métrique utilisée, l’accuracy, rend la comparaison directe, mais elle ne décrit pas les raisons des erreurs ni la robustesse hors du format QCM. Dans la base, le classement regroupe 31 modèles, avec une médiane à 76% et un meilleur score de 88% pour Claude Opus 4.8 (Anthropic), ce qui suggère un écart encore visible entre les modèles tout en signalant une possible progression vers des performances élevées.

La lecture des résultats doit rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la rigueur comparative par rapport à une évaluation entièrement reproduite dans un cadre indépendant. Les limites possibles incluent la saturation progressive du benchmark, la contamination par des examens disponibles publiquement, et une portée centrée sur des questions scolaires locales plutôt que sur toutes les formes de compréhension culturelle. Le classement renseigne donc surtout sur la performance relative dans ce cadre précis.

Sources des scores : llm-stats.