Gemini 1.5 Pro
Gemini 1.5 Pro est un LLM propriétaire de Google, publié le 1 mai 2024 aux États-Unis, avec des poids non ouverts. À l’échelle de l’IA, son ancienneté d’environ deux ans le rattache déjà à une génération passée, à comparer d’abord aux modèles de sa période plutôt qu’aux modèles haut de…
Gemini 1.5 Pro est un LLM propriétaire de Google, publié le 1 mai 2024 aux États-Unis, avec des poids non ouverts. À l’échelle de l’IA, son ancienneté d’environ deux ans le rattache déjà à une génération passée, à comparer d’abord aux modèles de sa période plutôt qu’aux modèles haut de gamme récents.
Son trait le plus distinctif reste sa fenêtre de contexte de 2 097 152 tokens, soit environ 2,1 M, très élevée pour un modèle de cette génération. Ses connaissances s’arrêtent au 1 novembre 2023, ce qui fixe clairement son périmètre d’usage documentaire.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Licence | Proprietary (poids non ouverts) |
| Date de sortie | 1 mai 2024 |
| Connaissances jusqu'à | 2023-11-01 |
| Multimodal | oui |
| Fenêtre de contexte | 2 097 152 tokens (≈ 2,1 M) |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: MATH level 5 | 70,4 % | 31ᵉ / 84 | epoch | ✅ Mesuré |
| Epoch: GPQA diamond | 57,2 % | 69ᵉ / 132 | epoch | ✅ Mesuré |
| Epoch: OTIS Mock AIME 2024-2025 | 23,1 % | 71ᵉ / 111 | epoch | ✅ Mesuré |
| XSTest | 98,8 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| FLEURS | 93,3 % | 3ᵉ / 6 | llm-stats | Auto-déclaré |
| HellaSwag | 93,3 % | 3ᵉ / 27 | llm-stats | Auto-déclaré |
| GSM8k | 90,8 % | 25ᵉ / 47 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 89,2 % | 2ᵉ / 20 | llm-stats | Auto-déclaré |
| MGSM | 87,5 % | 11ᵉ / 30 | llm-stats | Auto-déclaré |
| MATH | 86,5 % | 10ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU | 85,9 % | 33ᵉ / 98 | llm-stats | Auto-déclaré |
| Natural2Code | 85,4 % | 2ᵉ / 8 | llm-stats | Auto-déclaré |
| HumanEval | 84,1 % | 38ᵉ / 65 | llm-stats | Auto-déclaré |
| MRCR | 82,6 % | 2ᵉ / 7 | llm-stats | Auto-déclaré |
| Video-MME | 78,6 % | 9ᵉ / 17 | llm-stats | Auto-déclaré |
| MMLU-Pro | 75,8 % | 67ᵉ / 125 | llm-stats | Auto-déclaré |
| WMT23 | 75,1 % | 1ᵉ / 4 | llm-stats | Auto-déclaré |
| DROP | 74,9 % | 19ᵉ / 29 | llm-stats | Auto-déclaré |
| MathVista | 68,1 % | 17ᵉ / 38 | llm-stats | Auto-déclaré |
| MMMU | 65,9 % | 36ᵉ / 61 | llm-stats | Auto-déclaré |
| GPQA | 59,1 % | 141ᵉ / 213 | llm-stats | Auto-déclaré |
| Vibe-Eval | 53,9 % | 5ᵉ / 8 | llm-stats | Auto-déclaré |
| HiddenMath | 52,0 % | 5ᵉ / 13 | llm-stats | Auto-déclaré |
| AMC_2022_23 | 46,4 % | 5ᵉ / 6 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Epoch: MATH level 5
Epoch: GPQA diamond
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Jeu de données | Unspecified unreleased |
| Matériel | Google TPU v4 |
| Pays | United States of America |
Notre analyse
Forces. À sa sortie, Gemini 1.5 Pro figurait dans le top 4% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Ce positionnement indique un modèle particulièrement compétitif, pour son époque, sur le raisonnement scientifique exigeant. Sur MATH level 5, il se situe dans la partie supérieure du classement disponible, ce qui traduit des capacités mathématiques solides sans en faire un modèle dominant. Sa très grande fenêtre de contexte constitue son autre avantage majeur, car elle autorise le traitement de volumes de texte très importants dans une seule requête.
Limites et points d’attention. Gemini 1.5 Pro est aujourd’hui un modèle ancien à l’échelle du secteur, avec des performances largement dépassées par les modèles frontière récents et un statut probablement moins central, voire souvent retiré du catalogue de l’éditeur. Son résultat sur OTIS Mock AIME 2024-2025 signale une faiblesse nette sur les problèmes d’olympiades mathématiques de niveau lycée. Sur GPQA diamond, son rang global le place désormais loin des meilleurs modèles recensés. La licence propriétaire et les poids non ouverts limitent aussi l’audit indépendant du modèle, tandis que l’arrêt des connaissances à novembre 2023 réduit sa pertinence sur les événements et publications postérieurs.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.