Jamba 1.5 Mini
Jamba 1.5 Mini est la version compacte de la famille Jamba d'AI21 Labs, sortie le 22 août 2024 aux côtés de la Large. Elle reprend la même architecture hybride Mamba-Transformer avec Mixture-of-Experts, à échelle réduite : 52 milliards de paramètres au total, 12 actifs. L'objectif est…
Jamba 1.5 Mini est la version compacte de la famille Jamba d'AI21 Labs, sortie le 22 août 2024 aux côtés de la Large. Elle reprend la même architecture hybride Mamba-Transformer avec Mixture-of-Experts, à échelle réduite : 52 milliards de paramètres au total, 12 actifs. L'objectif est d'offrir un très long contexte (256 000 tokens) à basse latence et à coût dérisoire.
Distribuée en poids ouverts (licence AI21) et via API à un tarif très agressif, elle visait à être le modèle ouvert le plus performant de sa catégorie de taille. Comme la Large, elle appartient à une génération aujourd'hui remplacée par Jamba 1.6 et 1.7.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | AI21 |
| Licence | Jamba Open Model License (poids non ouverts) |
| Date de sortie | 22 août 2024 |
| Connaissances jusqu'à | 2024-03-05 |
| Multimodal | non |
| Paramètres | 52 milliards |
| Paramètres actifs | 12 milliards |
| Fenêtre de contexte | 256 144 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 85,7 % | 13ᵉ / 34 | llm-stats | Auto-déclaré |
| GSM8k | 75,8 % | 40ᵉ / 47 | llm-stats | Auto-déclaré |
| MMLU | 69,7 % | 82ᵉ / 98 | llm-stats | Auto-déclaré |
| TruthfulQA | 54,1 % | 15ᵉ / 18 | llm-stats | Auto-déclaré |
| Arena Hard | 46,1 % | 20ᵉ / 26 | llm-stats | Auto-déclaré |
| MMLU-Pro | 42,5 % | 119ᵉ / 125 | llm-stats | Auto-déclaré |
| Wild Bench | 42,4 % | 8ᵉ / 8 | llm-stats | Auto-déclaré |
| GPQA | 32,3 % | 199ᵉ / 213 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Le rapport coût/contexte est sa vraie signature : 256K tokens réellement tenus (RULER) pour un prix d'API parmi les plus bas du marché, et l'une des latences les plus faibles de sa classe grâce aux couches Mamba. À sa sortie, elle dominait sa catégorie de modèles ouverts sur le suivi d'instructions (Arena Hard), devant Mixtral 8x22B et Command-R+, tout en restant déployable sur un seul GPU avec quantification. Elle hérite des fonctions entreprise de la Large (function calling, sorties structurées).
Limites et points d'attention. Comme sa grande sœur, elle est texte seul et plafonne vite sur le raisonnement difficile (GPQA au niveau du hasard). Sa connaissance s'arrête en mars 2024 et elle appartient à une génération dépréciée, dépassée par les petits modèles ouverts plus récents. Son intérêt aujourd'hui est de montrer qu'un petit modèle ouvert pouvait, dès 2024, offrir un contexte de 256K réellement utilisable.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).