Mistral 7B

Mistral 7B est un LLM de Mistral AI sorti le 27 mai 2024. Avec environ deux ans d'ancienneté, il appartient déjà à une génération très datée à l'échelle de l'IA, à comparer d'abord aux modèles publiés autour de 2024 plutôt qu'aux systèmes haut de gamme actuels.

Son intérêt historique tient surtout à son niveau relatif au moment de sa sortie : sur GPQA diamond, il était classé dans le top 97% des LLM de sa période, parmi 32 modèles comparables sur une fenêtre de ±9 mois. Les mesures disponibles restent toutefois limitées, avec une seule source concordante.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Notre analyse

Forces. Le principal point fort de Mistral 7B se situe dans son contexte de lancement. À sa sortie, il figurait dans le haut du panier de sa génération sur GPQA diamond, un benchmark centré sur des questions scientifiques de niveau doctorat. Cette position relative en faisait un modèle notable parmi les LLM disponibles sur la même période, malgré une taille et un positionnement qui ne le placent pas dans la catégorie des modèles frontière actuels.

Limites et points d'attention. Mistral 7B est aujourd'hui largement dépassé dans les mesures disponibles. Sur GPQA diamond comme sur MATH level 5, il se situe presque en bas des classements recensés, ce qui signale des limites nettes en raisonnement scientifique avancé et en mathématiques difficiles. Son ancienneté, très longue à l'échelle de l'IA générative, implique aussi qu'il est souvent retiré du catalogue de son éditeur ou remplacé par des générations plus récentes. La fiche repose en outre sur une seule source de données concordante, ce qui réduit la profondeur de comparaison possible.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.