Qwen2.5 14B Instruct
Qwen2.5 14B Instruct est un LLM d’instruction publié par Qwen le 19 septembre 2024. Avec 15 milliards de paramètres, il appartient à une génération désormais ancienne à l’échelle de l’IA, où deux ans suffisent souvent à faire basculer un modèle hors du premier plan.
Qwen2.5 14B Instruct est un LLM d’instruction publié par Qwen le 19 septembre 2024. Avec 15 milliards de paramètres, il appartient à une génération désormais ancienne à l’échelle de l’IA, où deux ans suffisent souvent à faire basculer un modèle hors du premier plan.
Son intérêt principal tient à son statut open-weights sous licence Apache 2.0, avec usage commercial autorisé. À sa sortie, il se situait dans la première moitié des LLM de sa période sur GPQA, sans atteindre le niveau des meilleurs modèles de sa génération.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Qwen |
| Licence | Apache 2.0 (open-weights, usage commercial autorisé) |
| Date de sortie | 19 septembre 2024 |
| Multimodal | non |
| Paramètres | 15 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| GSM8k | 94,8 % | 12ᵉ / 47 | llm-stats | Auto-déclaré |
| HumanEval | 83,5 % | 39ᵉ / 65 | llm-stats | Auto-déclaré |
| MBPP | 82,0 % | 10ᵉ / 33 | llm-stats | Auto-déclaré |
| MATH | 80,0 % | 20ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Redux | 80,0 % | 39ᵉ / 48 | llm-stats | Auto-déclaré |
| MMLU | 79,7 % | 61ᵉ / 98 | llm-stats | Auto-déclaré |
| BBH | 78,2 % | 10ᵉ / 12 | llm-stats | Auto-déclaré |
| MultiPL-E | 72,8 % | 8ᵉ / 13 | llm-stats | Auto-déclaré |
| ARC-C | 67,3 % | 26ᵉ / 34 | llm-stats | Auto-déclaré |
| MMLU-Pro | 63,7 % | 98ᵉ / 125 | llm-stats | Auto-déclaré |
| MBPP+ | 63,2 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| TruthfulQA | 58,4 % | 8ᵉ / 18 | llm-stats | Auto-déclaré |
| HumanEval+ | 51,2 % | 9ᵉ / 10 | llm-stats | Auto-déclaré |
| GPQA | 45,5 % | 170ᵉ / 213 | llm-stats | Auto-déclaré |
| TheoremQA | 43,0 % | 4ᵉ / 6 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Qwen2.5 14B Instruct combine un format de 15 milliards de paramètres et une licence Apache 2.0, ce qui en fait un modèle exploitable commercialement avec des poids ouverts. À sa sortie, son résultat sur GPQA le plaçait dans le top 46% des 35 LLM comparables de la même période, soit une position correcte dans sa génération plutôt qu’un modèle de tête. Cette place indique un modèle crédible pour son époque, notamment dans le segment des LLM d’instruction ouverts, sans signaler une domination sur les modèles haut de gamme contemporains.
Limites et points d'attention. Qwen2.5 14B Instruct doit être lu comme un modèle ancien : environ deux ans représentent une durée très longue dans l’IA, et ses performances sont aujourd’hui probablement largement dépassées par les modèles plus récents. Il est aussi souvent susceptible de ne plus être mis en avant dans le catalogue de son éditeur. La fiche repose sur une seule source de données concordante, ce qui limite la profondeur de comparaison disponible. Son classement GPQA à la sortie reste utile pour le situer historiquement, mais ne suffit pas à en faire une référence durable face aux modèles actuels.
Sources des données : LLM-Stats (llm-stats.com).