Phi-3.5-mini-instruct
Phi-3.5-mini-instruct est un LLM compact de Microsoft, publié le 23 août 2024 sous licence MIT, avec des poids ouverts et un usage commercial autorisé. Avec 4 milliards de paramètres, il se place dans la catégorie des modèles légers, tout en proposant une fenêtre de contexte très large…
Phi-3.5-mini-instruct est un LLM compact de Microsoft, publié le 23 août 2024 sous licence MIT, avec des poids ouverts et un usage commercial autorisé. Avec 4 milliards de paramètres, il se place dans la catégorie des modèles légers, tout en proposant une fenêtre de contexte très large de 128 000 tokens.
Son ancienneté d’environ deux ans est importante à l’échelle de l’IA. La fiche le situe donc surtout comme un modèle de sa génération, avec des connaissances arrêtées au 31 mars 2024, plutôt que comme une référence actuelle face aux modèles haut de gamme récents.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Microsoft |
| Licence | MIT (open-weights, usage commercial autorisé) |
| Date de sortie | 23 août 2024 |
| Connaissances jusqu'à | 2024-03-31 |
| Multimodal | non |
| Paramètres | 4 milliards |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| GSM8k | 86,2 % | 33ᵉ / 47 | llm-stats | Auto-déclaré |
| ARC-C | 84,6 % | 14ᵉ / 34 | llm-stats | Auto-déclaré |
| RULER | 84,1 % | 4ᵉ / 4 | llm-stats | Auto-déclaré |
| PIQA | 81,0 % | 5ᵉ / 11 | llm-stats | Auto-déclaré |
| OpenBookQA | 79,2 % | 2ᵉ / 5 | llm-stats | Auto-déclaré |
| BoolQ | 78,0 % | 8ᵉ / 10 | llm-stats | Auto-déclaré |
| Social IQa | 74,7 % | 2ᵉ / 9 | llm-stats | Auto-déclaré |
| MBPP | 69,6 % | 23ᵉ / 33 | llm-stats | Auto-déclaré |
| HellaSwag | 69,4 % | 25ᵉ / 27 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 69,0 % | 14ᵉ / 20 | llm-stats | Auto-déclaré |
| MMLU | 69,0 % | 85ᵉ / 98 | llm-stats | Auto-déclaré |
| Winogrande | 68,5 % | 18ᵉ / 22 | llm-stats | Auto-déclaré |
| TruthfulQA | 64,0 % | 5ᵉ / 18 | llm-stats | Auto-déclaré |
| HumanEval | 62,8 % | 61ᵉ / 65 | llm-stats | Auto-déclaré |
| MMMLU | 55,4 % | 48ᵉ / 49 | llm-stats | Auto-déclaré |
| MATH | 48,5 % | 56ᵉ / 70 | llm-stats | Auto-déclaré |
| MGSM | 47,9 % | 30ᵉ / 30 | llm-stats | Auto-déclaré |
| MMLU-Pro | 47,4 % | 113ᵉ / 125 | llm-stats | Auto-déclaré |
| Arena Hard | 37,0 % | 23ᵉ / 26 | llm-stats | Auto-déclaré |
| GPQA | 30,4 % | 203ᵉ / 213 | llm-stats | Auto-déclaré |
| SQuALITY | 24,3 % | 1ᵉ / 5 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Phi-3.5-mini-instruct se distinguait par un bon positionnement sur GPQA, un benchmark orienté questions scientifiques complexes, où il figurait dans le haut du panier des LLM de la même période. Son format de 4 milliards de paramètres en faisait un modèle relativement compact, intéressant pour analyser le compromis entre taille réduite, licence permissive et fenêtre de contexte étendue. La licence MIT renforce aussi son intérêt historique, car elle autorise l’usage commercial avec des poids ouverts.
Limites et points d'attention. Phi-3.5-mini-instruct est aujourd’hui un modèle ancien : environ deux ans représentent un écart très long dans le cycle de renouvellement des LLM. Ses performances doivent être lues par rapport aux modèles sortis autour de 2024, pas par rapport aux modèles frontière actuels, qui l’ont largement dépassé. Il peut aussi avoir disparu des catalogues actifs de l’éditeur, ce qui réduit son intérêt opérationnel. Sa date de coupure des connaissances, fixée au 31 mars 2024, limite en outre toute analyse d’événements ou de technologies apparus ensuite.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).