Mistral Small 3

Mistral Small 3 est un LLM de Mistral AI, sorti le 25 janvier 2025. Avec environ un an d’ancienneté, il appartient déjà à une génération ancienne à l’échelle de l’IA, où les écarts de performance se creusent vite entre itérations successives.

À sa sortie, le modèle se situait dans le top 43% des LLM de sa période sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Cette position en fait surtout un repère historique pour évaluer le niveau de Mistral AI sur les modèles compacts de début 2025.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Notre analyse

Forces. Le signal le plus favorable de Mistral Small 3 vient de GPQA diamond, où il se plaçait, à sa sortie, dans la partie supérieure de sa génération plutôt qu’en queue de peloton. Ce résultat indique une capacité correcte, pour son époque, sur des questions scientifiques difficiles de niveau doctorat. Sur MATH level 5, il atteint aussi un niveau non négligeable sur des problèmes mathématiques avancés, même si ce score ne le place pas parmi les tout premiers modèles évalués.

Limites et points d'attention. Mistral Small 3 doit être lu comme un modèle daté. Environ un an après sa sortie, ses performances sont probablement largement dépassées par les modèles plus récents, et ce type de version est souvent retiré du catalogue de l’éditeur. Ses résultats globaux le situent plutôt dans le bas ou le milieu des classements disponibles, avec une faiblesse nette sur OTIS Mock AIME 2024-2025, un test d’olympiades de mathématiques niveau lycée. La fiche repose en outre sur une seule source de données concordantes, ce qui limite la profondeur de comparaison.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.