Mixtral 8x7B

Mixtral 8x7B est un LLM de Mistral AI, sorti le 11 décembre 2023 et issu de France. À près de trois ans, son ancienneté est très élevée à l’échelle de l’IA, ce qui le situe davantage comme un modèle important de sa période que comme une référence actuelle.

Son entraînement reste l’un des éléments les plus parlants de la fiche : 7,7 × 10²³ FLOP, soit environ 215 000 heures-GPU H100, l’équivalent d’environ 100 GPU H100 mobilisés pendant trois mois. À sa sortie, il se plaçait dans le top 50% des LLM de sa génération sur GPQA diamond.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Entraînement & empreinte

Notre analyse

Forces. Mixtral 8x7B se distingue surtout par son positionnement historique. Lors de sa sortie, il figurait dans le haut de la moitié des LLM comparables de sa période sur GPQA diamond (questions scientifiques niveau doctorat), un signal notable pour un modèle publié fin 2023. Son volume de 47 milliards de paramètres et son compute d’entraînement élevé indiquent un modèle conçu avec des moyens substantiels pour son époque, dans un contexte où les LLM ouverts ou largement accessibles progressaient très vite.

Limites et points d'attention. Les résultats disponibles le placent aujourd’hui loin des meilleurs modèles évalués : GPQA diamond reste en bas de classement global, et MATH level 5 signale une faiblesse marquée sur les problèmes mathématiques difficiles. Son ancienneté pèse fortement, car les performances des modèles haut de gamme ont beaucoup progressé depuis 2023, et ce type de modèle est souvent retiré du catalogue actif de son éditeur. La couverture repose sur une seule source de données concordante, ce qui limite la robustesse de l’évaluation croisée.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.