Jamba 1.5 Large
Jamba 1.5 Large est le modèle phare d'AI21 Labs, la start-up israélienne, dévoilé le 22 août 2024. Sa particularité tient à son architecture : un hybride entrelaçant des couches Mamba (state-space) et des couches d'attention Transformer, complété par un Mixture-of-Experts (398 milliards…
Jamba 1.5 Large est le modèle phare d'AI21 Labs, la start-up israélienne, dévoilé le 22 août 2024. Sa particularité tient à son architecture : un hybride entrelaçant des couches Mamba (state-space) et des couches d'attention Transformer, complété par un Mixture-of-Experts (398 milliards de paramètres au total, 94 actifs). Ce choix lui permet de tenir réellement une fenêtre de 256 000 tokens à un débit jusqu'à 2,5 fois supérieur à un Transformer classique sur les longs contextes.
Pensé pour l'entreprise (RAG, ingestion documentaire, sortie JSON structurée, function calling), il est distribué en poids ouverts sous licence maison AI21 et via API. Près de deux ans après sa sortie, c'est une génération désormais dépassée, remplacée par Jamba 1.6 puis 1.7.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | AI21 |
| Licence | Jamba Open Model License (poids non ouverts) |
| Date de sortie | 22 août 2024 |
| Connaissances jusqu'à | 2024-03-05 |
| Multimodal | non |
| Paramètres | 398 milliards |
| Paramètres actifs | 94 milliards |
| Fenêtre de contexte | 256 000 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 93,0 % | 7ᵉ / 34 | llm-stats | Auto-déclaré |
| GSM8k | 87,0 % | 32ᵉ / 47 | llm-stats | Auto-déclaré |
| MMLU | 81,2 % | 51ᵉ / 98 | llm-stats | Auto-déclaré |
| Arena Hard | 65,4 % | 12ᵉ / 26 | llm-stats | Auto-déclaré |
| TruthfulQA | 58,3 % | 9ᵉ / 18 | llm-stats | Auto-déclaré |
| MMLU-Pro | 53,5 % | 106ᵉ / 125 | llm-stats | Auto-déclaré |
| Wild Bench | 48,5 % | 7ᵉ / 8 | llm-stats | Auto-déclaré |
| GPQA | 36,9 % | 189ᵉ / 213 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Jeu de données | Unspecified unreleased |
| Matériel | NVIDIA H100 SXM5 80GB |
| Pays | Israel |
Notre analyse
Forces. Le long contexte est ici réellement exploitable, et non théorique : sur le test RULER, Jamba 1.5 Large reste fiable jusqu'à 256K tokens là où beaucoup de modèles décrochent bien avant. Les couches Mamba réduisent fortement le cache mémoire, d'où un débit nettement supérieur en contexte long. À sa sortie, il se classait parmi les meilleurs modèles ouverts en suivi d'instructions conversationnel (Arena Hard), devançant des modèles Llama plus gros, et restait déployable sur site pour les secteurs régulés.
Limites et points d'attention. Le modèle est texte seul et son raisonnement difficile reste modeste (GPQA proche du hasard). Sa date de connaissance s'arrête en mars 2024, et il exige huit GPU de 80 Go. Surtout, il appartient à une génération dépréciée : ses performances sont aujourd'hui dépassées, y compris par les modèles plus récents d'AI21. Son intérêt est désormais surtout historique, comme première démonstration à grande échelle qu'une architecture non purement Transformer peut rivaliser avec les meilleurs.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.