Phi-3.5-MoE-instruct
Phi-3.5-MoE-instruct est un LLM publié par Microsoft le 23 août 2024, sous licence MIT avec poids ouverts et usage commercial autorisé. Le modèle compte 60 milliards de paramètres et porte un positionnement « instruct », associé à une version destinée aux usages conversationnels ou…
Phi-3.5-MoE-instruct est un LLM publié par Microsoft le 23 août 2024, sous licence MIT avec poids ouverts et usage commercial autorisé. Le modèle compte 60 milliards de paramètres et porte un positionnement « instruct », associé à une version destinée aux usages conversationnels ou pilotés par consignes.
Avec environ deux ans d’ancienneté, Phi-3.5-MoE-instruct appartient déjà à une génération ancienne à l’échelle de l’IA. Sa lecture est surtout utile pour situer l’état des LLM open-weights de Microsoft à l’été 2024, plutôt que pour l’évaluer comme option de référence actuelle.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Microsoft |
| Licence | MIT (open-weights, usage commercial autorisé) |
| Date de sortie | 23 août 2024 |
| Multimodal | non |
| Paramètres | 60 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 91,0 % | 10ᵉ / 34 | llm-stats | Auto-déclaré |
| OpenBookQA | 89,6 % | 1ᵉ / 5 | llm-stats | Auto-déclaré |
| GSM8k | 88,7 % | 29ᵉ / 47 | llm-stats | Auto-déclaré |
| PIQA | 88,6 % | 1ᵉ / 11 | llm-stats | Auto-déclaré |
| RULER | 87,1 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| BoolQ | 84,6 % | 3ᵉ / 10 | llm-stats | Auto-déclaré |
| HellaSwag | 83,8 % | 14ᵉ / 27 | llm-stats | Auto-déclaré |
| Winogrande | 81,3 % | 9ᵉ / 22 | llm-stats | Auto-déclaré |
| MBPP | 80,8 % | 12ᵉ / 33 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 79,1 % | 8ᵉ / 20 | llm-stats | Auto-déclaré |
| MMLU | 78,9 % | 66ᵉ / 98 | llm-stats | Auto-déclaré |
| Social IQa | 78,0 % | 1ᵉ / 9 | llm-stats | Auto-déclaré |
| TruthfulQA | 77,5 % | 2ᵉ / 18 | llm-stats | Auto-déclaré |
| HumanEval | 70,7 % | 56ᵉ / 65 | llm-stats | Auto-déclaré |
| MMMLU | 69,9 % | 44ᵉ / 49 | llm-stats | Auto-déclaré |
| MATH | 59,5 % | 48ᵉ / 70 | llm-stats | Auto-déclaré |
| MGSM | 58,7 % | 25ᵉ / 30 | llm-stats | Auto-déclaré |
| MMLU-Pro | 45,3 % | 116ᵉ / 125 | llm-stats | Auto-déclaré |
| Arena Hard | 37,9 % | 22ᵉ / 26 | llm-stats | Auto-déclaré |
| GPQA | 36,8 % | 190ᵉ / 213 | llm-stats | Auto-déclaré |
| SQuALITY | 24,1 % | 2ᵉ / 5 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Phi-3.5-MoE-instruct se situait dans le top 65% sur GPQA parmi 34 LLM de sa période, ce qui le plaçait dans une zone compétitive sans le hisser au tout premier plan de sa génération. Sa licence MIT constitue un point fort concret : les poids sont ouverts et l’usage commercial est autorisé, un cadre plus souple que celui de nombreux modèles fermés. Son format à 60 milliards de paramètres le positionnait aussi comme un modèle substantiel dans le paysage open-weights de 2024.
Limites et points d'attention. L’ancienneté est le principal signal de prudence : à près de deux ans, Phi-3.5-MoE-instruct est très probablement dépassé par les modèles actuels, en particulier les modèles frontière et les générations open-weights plus récentes. Ce type de modèle est aussi souvent retiré ou marginalisé dans les catalogues éditeurs au fil des mises à jour. La couverture disponible repose sur une seule source de données concordante, ce qui limite la profondeur de validation externe. Aucun chiffre vérifié de coût d’entraînement, de compute ou d’équivalent GPU H100 n’est fourni ici, donc cet aspect ne peut pas être qualifié.
Sources des données : LLM-Stats (llm-stats.com).