Gemini 1.0 Pro
Gemini 1.0 Pro est un LLM propriétaire de Google, lancé aux États-Unis le 15 février 2024. Avec environ deux ans d’ancienneté, il appartient déjà à une génération très ancienne à l’échelle de l’IA, à comparer surtout aux modèles disponibles autour de sa sortie plutôt qu’aux systèmes haut…
Gemini 1.0 Pro est un LLM propriétaire de Google, lancé aux États-Unis le 15 février 2024. Avec environ deux ans d’ancienneté, il appartient déjà à une génération très ancienne à l’échelle de l’IA, à comparer surtout aux modèles disponibles autour de sa sortie plutôt qu’aux systèmes haut de gamme actuels.
Le modèle se distingue par une fenêtre de contexte de 32 760 tokens et des connaissances arrêtées au 2024-02-01. Ses poids ne sont pas ouverts, ce qui limite l’examen indépendant de son fonctionnement interne, mais son positionnement historique reste documenté par deux sources concordantes.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Licence | Proprietary (poids non ouverts) |
| Date de sortie | 15 février 2024 |
| Connaissances jusqu'à | 2024-02-01 |
| Multimodal | non |
| Fenêtre de contexte | 32 760 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: GPQA diamond | 34,0 % | 112ᵉ / 132 | epoch | ✅ Mesuré |
| Epoch: MATH level 5 | 11,2 % | 77ᵉ / 84 | epoch | ✅ Mesuré |
| Epoch: OTIS Mock AIME 2024-2025 | 1,1 % | 107ᵉ / 111 | epoch | ✅ Mesuré |
| FLEURS | 93,6 % | 2ᵉ / 6 | llm-stats | n.d. |
| BIG-Bench | 75,0 % | 1ᵉ / 3 | llm-stats | n.d. |
| MMLU | 71,8 % | 77ᵉ / 98 | llm-stats | Auto-déclaré |
| WMT23 | 71,7 % | 4ᵉ / 4 | llm-stats | n.d. |
| EgoSchema | 55,7 % | 9ᵉ / 9 | llm-stats | Auto-déclaré |
| MMMU | 47,9 % | 58ᵉ / 61 | llm-stats | n.d. |
| MathVista | 46,6 % | 36ᵉ / 38 | llm-stats | n.d. |
| MATH | 32,6 % | 68ᵉ / 70 | llm-stats | n.d. |
| GPQA | 27,9 % | 205ᵉ / 213 | llm-stats | n.d. |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Epoch: GPQA diamond
Epoch: MATH level 5
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Jeu de données | Unspecified unreleased |
| Matériel | Google TPU v4 |
| Pays | United States of America |
Notre analyse
Forces. À sa sortie, Gemini 1.0 Pro se situait dans le top 50% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Cette performance en faisait un modèle crédible pour des tâches généralistes exigeant du raisonnement scientifique, surtout dans le contexte de début 2024. Sa fenêtre de contexte relativement large permettait aussi de traiter des entrées longues pour l’époque, un point important pour l’analyse de documents, la synthèse ou les échanges prolongés.
Limites et points d'attention. Les résultats disponibles montrent des faiblesses nettes en mathématiques avancées. Sur MATH level 5, le modèle se situe en bas de tableau, et son résultat sur OTIS Mock AIME 2024-2025, centré sur des problèmes d’olympiades de niveau lycée, indique une capacité très limitée sur ce type de raisonnement formel. Avec environ deux ans d’ancienneté, Gemini 1.0 Pro est aujourd’hui largement dépassé par les modèles frontière et il est souvent retiré des catalogues des éditeurs à ce stade. La licence propriétaire et l’absence de poids ouverts réduisent aussi la transparence et les possibilités d’audit externe.
Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.