Mistral Small 3 24B Base

Mistral Small 3 24B Base est un LLM open-weights de Mistral AI, publié le 30 janvier 2025 sous licence Apache 2.0, avec usage commercial autorisé. Ses 24 milliards de paramètres le placent dans un format identifiable de sa génération, sans information fournie ici sur un réglage…

Mistral Small 3 24B Base est un LLM open-weights de Mistral AI, publié le 30 janvier 2025 sous licence Apache 2.0, avec usage commercial autorisé. Ses 24 milliards de paramètres le placent dans un format identifiable de sa génération, sans information fournie ici sur un réglage instruction ou un usage spécialisé.

Son ancienneté, environ un an, est déjà très longue à l’échelle de l’IA. La fiche doit donc le situer parmi les modèles de sa période, avec des connaissances arrêtées au 1er octobre 2023, plutôt que comme une référence actuelle.

Caractéristiques

CaractéristiqueValeur
TypeGrand modèle de langage (LLM)
ÉditeurMistral AI
LicenceApache 2.0 (open-weights, usage commercial autorisé)
Date de sortie30 janvier 2025
Connaissances jusqu'à2023-10-01
Multimodaloui
Paramètres24 milliards

Performances (benchmarks)

BenchmarkScoreRang (LLM)SourceFiabilité
ARC-C91,3 %9ᵉ / 34llm-statsAuto-déclaré
GSM8k80,7 %38ᵉ / 47llm-statsAuto-déclaré
MMLU80,7 %53ᵉ / 98llm-statsAuto-déclaré
TriviaQA80,3 %6ᵉ / 18llm-statsAuto-déclaré
MBPP69,6 %22ᵉ / 33llm-statsAuto-déclaré
AGIEval65,8 %1ᵉ / 10llm-statsAuto-déclaré
MMLU-Pro54,4 %105ᵉ / 125llm-statsAuto-déclaré
MATH46,0 %61ᵉ / 70llm-statsAuto-déclaré
GPQA34,4 %194ᵉ / 213llm-statsAuto-déclaré

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Notre analyse

Forces. À sa sortie, Mistral Small 3 24B Base se situait dans le haut du panier de sa génération sur GPQA, parmi 61 LLM publiés dans une fenêtre comparable. Ce positionnement indique un modèle compétitif à son époque sur ce benchmark, plutôt qu’un simple modèle de catalogue. Sa licence Apache 2.0 constitue aussi un point fort concret : les poids sont ouverts et l’usage commercial est autorisé, ce qui distingue ce modèle des systèmes uniquement accessibles via une offre fermée.

Limites et points d'attention. Son âge pèse fortement : environ un an représente un cycle très long pour les LLM, et ses performances sont aujourd’hui probablement largement dépassées par les modèles plus récents. Il est aussi souvent plus proposé par l’éditeur, ce qui limite son intérêt comme choix actuel. Ses connaissances s’arrêtent au 1er octobre 2023, ce qui exclut les évolutions postérieures. Enfin, la fiche repose sur une seule source de données concordante, et aucun chiffre vérifié n’est fourni ici sur le calcul d’entraînement, le coût ou des performances hors GPQA.


Sources des données : LLM-Stats (llm-stats.com).