Mixtral 8x22B

Mixtral 8x22B est un LLM de Mistral AI sorti le 17 avril 2024. Avec environ deux ans d’ancienneté, il appartient déjà à une génération très datée à l’échelle de l’IA, où les écarts de performance se creusent vite en quelques mois.

À sa sortie, le modèle se situait dans la moitié haute de sa cohorte sur GPQA diamond, un test de questions scientifiques de niveau doctorat. Cette fiche sert donc surtout à replacer Mixtral 8x22B dans son contexte historique, plus qu’à le présenter comme une référence actuelle.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Notre analyse

Forces. Le principal intérêt de Mixtral 8x22B tient à son niveau relatif au moment de sa sortie. Sur GPQA diamond, il figurait dans le top 48% des LLM de la même période, ce qui le plaçait encore dans la moitié supérieure de sa génération sur un benchmark exigeant de raisonnement scientifique. Ce positionnement indique un modèle crédible dans le paysage d’avril 2024, porté par un éditeur spécialisé identifié, Mistral AI, à une période où les grands LLM progressaient rapidement.

Limites et points d'attention. Les résultats disponibles restent modestes dans l’absolu : GPQA diamond demeure bas pour des questions scientifiques avancées, et MATH level 5 place le modèle dans une zone faible du classement observé. Avec près de deux ans d’ancienneté, Mixtral 8x22B est aujourd’hui largement dépassé par les modèles haut de gamme plus récents, et ce type de modèle est souvent retiré ou relégué dans les catalogues d’éditeurs. La couverture repose aussi sur une seule source de données concordante, ce qui limite la robustesse de l’évaluation publique.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.