Gemini 1.5 Flash 8B
Gemini 1.5 Flash 8B est un LLM propriétaire de Google, lancé le 15 mars 2024, avec des poids non ouverts. Son profil combine un format relativement compact, 8 milliards de paramètres, et une très grande fenêtre de contexte d’environ 1,0 M de tokens.
Gemini 1.5 Flash 8B est un LLM propriétaire de Google, lancé le 15 mars 2024, avec des poids non ouverts. Son profil combine un format relativement compact, 8 milliards de paramètres, et une très grande fenêtre de contexte d’environ 1,0 M de tokens.
Avec près de deux ans d’ancienneté, il appartient déjà à une génération longue à l’échelle de l’IA. La fiche sert surtout à situer ce modèle dans son époque, car ses performances sont probablement dépassées et il est souvent retiré du catalogue de l’éditeur aujourd’hui.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Licence | Proprietary (poids non ouverts) |
| Date de sortie | 15 mars 2024 |
| Connaissances jusqu'à | 2024-10-01 |
| Multimodal | oui |
| Paramètres | 8 milliards |
| Fenêtre de contexte | 1 048 576 tokens (≈ 1,0 M) |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: GPQA diamond | 33,0 % | 114ᵉ / 132 | epoch | ✅ Mesuré |
| Epoch: OTIS Mock AIME 2024-2025 | 4,6 % | 93ᵉ / 111 | epoch | ✅ Mesuré |
| XSTest | 92,6 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| FLEURS | 86,4 % | 6ᵉ / 6 | llm-stats | Auto-déclaré |
| Natural2Code | 75,5 % | 6ᵉ / 8 | llm-stats | Auto-déclaré |
| WMT23 | 72,6 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| Video-MME | 66,2 % | 16ᵉ / 17 | llm-stats | Auto-déclaré |
| MATH | 58,7 % | 49ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 58,7 % | 101ᵉ / 125 | llm-stats | Auto-déclaré |
| MathVista | 54,7 % | 31ᵉ / 38 | llm-stats | Auto-déclaré |
| MRCR | 54,7 % | 5ᵉ / 7 | llm-stats | Auto-déclaré |
| MMMU | 53,7 % | 51ᵉ / 61 | llm-stats | Auto-déclaré |
| Vibe-Eval | 40,9 % | 8ᵉ / 8 | llm-stats | Auto-déclaré |
| GPQA | 38,4 % | 187ᵉ / 213 | llm-stats | Auto-déclaré |
| HiddenMath | 32,8 % | 10ᵉ / 13 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Epoch: GPQA diamond
Epoch: OTIS Mock AIME 2024-2025
Notre analyse
Forces. Gemini 1.5 Flash 8B se distingue d’abord par sa fenêtre de contexte très étendue, rare pour un modèle de 8 milliards de paramètres dans sa période de sortie. À son lancement, il se situait dans le top 57% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Cette position indique un modèle exploitable dans le paysage de 2024, sans appartenir au haut du panier. Sa base de connaissances annoncée jusqu’au 2024-10-01 prolonge aussi sa pertinence documentaire par rapport à sa date de lancement initiale.
Limites et points d'attention. Les résultats disponibles montrent des limites nettes en raisonnement avancé. Sur GPQA diamond, le modèle reste en bas de classement global, et son score sur OTIS Mock AIME 2024-2025, centré sur des olympiades de mathématiques de niveau lycée, signale une faiblesse marquée en mathématiques exigeantes. Son ancienneté pèse fortement : à l’échelle actuelle, ses performances sont largement dépassées, et ce type de modèle est souvent retiré des catalogues d’éditeurs. La licence propriétaire limite aussi l’audit indépendant et la réutilisation directe des poids. La couverture repose toutefois sur 3 sources concordantes, ce qui rend son positionnement historique relativement solide.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.