Gemma 2 9B
Gemma 2 9B est un LLM de Google publié le 27 juin 2024, sous licence Gemma avec poids ouverts et usage commercial autorisé. Avec 9 milliards de paramètres et une fenêtre de contexte de 8 192 tokens, il appartient à la famille des modèles compacts plutôt qu’aux modèles frontière.
Gemma 2 9B est un LLM de Google publié le 27 juin 2024, sous licence Gemma avec poids ouverts et usage commercial autorisé. Avec 9 milliards de paramètres et une fenêtre de contexte de 8 192 tokens, il appartient à la famille des modèles compacts plutôt qu’aux modèles frontière.
Près de deux ans après sa sortie, Gemma 2 9B doit être lu comme un modèle de sa génération. À l’échelle de l’IA, cette ancienneté est très longue : ses résultats éclairent surtout le niveau des LLM ouverts de mi-2024, davantage qu’un état de l’art actuel.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Licence | Gemma (open-weights, usage commercial autorisé) |
| Date de sortie | 27 juin 2024 |
| Connaissances jusqu'à | 2024-06-30 |
| Multimodal | non |
| Paramètres | 9 milliards |
| Fenêtre de contexte | 8 192 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: GPQA diamond | 27,5 % | 124ᵉ / 132 | epoch | ✅ Mesuré |
| Epoch: MATH level 5 | 21,0 % | 68ᵉ / 84 | epoch | ✅ Mesuré |
| Epoch: OTIS Mock AIME 2024-2025 | 0,6 % | 110ᵉ / 111 | epoch | ✅ Mesuré |
| ARC-E | 88,0 % | 2ᵉ / 8 | llm-stats | Auto-déclaré |
| BoolQ | 84,2 % | 4ᵉ / 10 | llm-stats | Auto-déclaré |
| HellaSwag | 81,9 % | 17ᵉ / 27 | llm-stats | Auto-déclaré |
| PIQA | 81,7 % | 4ᵉ / 11 | llm-stats | Auto-déclaré |
| Winogrande | 80,6 % | 11ᵉ / 22 | llm-stats | Auto-déclaré |
| TriviaQA | 76,6 % | 8ᵉ / 18 | llm-stats | Auto-déclaré |
| MMLU | 71,3 % | 78ᵉ / 98 | llm-stats | Auto-déclaré |
| GSM8k | 68,6 % | 44ᵉ / 47 | llm-stats | Auto-déclaré |
| ARC-C | 68,4 % | 25ᵉ / 34 | llm-stats | Auto-déclaré |
| BIG-Bench | 68,2 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| Social IQa | 53,4 % | 5ᵉ / 9 | llm-stats | Auto-déclaré |
| AGIEval | 52,8 % | 6ᵉ / 10 | llm-stats | Auto-déclaré |
| MBPP | 52,4 % | 32ᵉ / 33 | llm-stats | Auto-déclaré |
| HumanEval | 40,2 % | 64ᵉ / 65 | llm-stats | Auto-déclaré |
| MATH | 36,6 % | 67ᵉ / 70 | llm-stats | Auto-déclaré |
| Natural Questions | 29,2 % | 3ᵉ / 7 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Epoch: GPQA diamond
Epoch: MATH level 5
Notre analyse
Forces. À sa sortie, Gemma 2 9B se situait dans le haut du panier de sa période sur GPQA diamond (questions scientifiques niveau doctorat), avec un classement dans le top 84% des LLM comparables sur la fenêtre de sortie. Son principal intérêt tient aussi à son format : 9 milliards de paramètres, des poids ouverts et une licence autorisant l’usage commercial. Cette combinaison en faisait un modèle relativement accessible à intégrer, auditer ou adapter, avec un horizon de connaissances arrêté au 30 juin 2024.
Limites et points d’attention. Les résultats disponibles montrent des limites nettes sur les tâches de raisonnement exigeantes. Sur MATH level 5, Gemma 2 9B reste en bas de tableau, et son score sur OTIS Mock AIME 2024-2025 (olympiades de mathématiques niveau lycée) indique une très faible robustesse en mathématiques compétitives. Son ancienneté pèse fortement : les performances sont aujourd’hui largement dépassées par les modèles plus récents, et un modèle de cette génération est souvent absent des catalogues actuels de son éditeur. La fenêtre de contexte de 8 192 tokens limite aussi les usages nécessitant de longs documents ou de longues conversations.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.