Qwen2.5-Omni-7B
Qwen2.5-Omni-7B est un LLM open-weights publié par Qwen le 27 mars 2025 sous licence Apache 2.0, avec usage commercial autorisé. Avec 7 milliards de paramètres, 11 milliards de paramètres actifs indiqués et une fenêtre de contexte de 32 768 tokens, il s’inscrit dans la catégorie des…
Qwen2.5-Omni-7B est un LLM open-weights publié par Qwen le 27 mars 2025 sous licence Apache 2.0, avec usage commercial autorisé. Avec 7 milliards de paramètres, 11 milliards de paramètres actifs indiqués et une fenêtre de contexte de 32 768 tokens, il s’inscrit dans la catégorie des modèles compacts de sa génération.
Son ancienneté d’environ un an est déjà importante à l’échelle de l’IA. La fiche le situe donc d’abord dans son contexte de sortie, où il figurait dans le top 92% sur GPQA parmi les LLM de la même période, plutôt que comme une référence actuelle.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Qwen |
| Licence | Apache 2.0 (open-weights, usage commercial autorisé) |
| Date de sortie | 27 mars 2025 |
| Multimodal | oui |
| Paramètres | 7 milliards |
| Paramètres actifs | 11 milliards |
| Fenêtre de contexte | 32 768 tokens |
| Modalités (entrée → sortie) | text,image,audio,video → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| FLEURS | 95,9 % | 1ᵉ / 6 | llm-stats | Auto-déclaré |
| DocVQA | 95,2 % | 3ᵉ / 26 | llm-stats | Auto-déclaré |
| GSM8k | 88,7 % | 29ᵉ / 47 | llm-stats | Auto-déclaré |
| ChartQA | 85,3 % | 14ᵉ / 24 | llm-stats | Auto-déclaré |
| TextVQA | 84,4 % | 3ᵉ / 15 | llm-stats | Auto-déclaré |
| AI2D | 83,2 % | 26ᵉ / 32 | llm-stats | Auto-déclaré |
| MMBench-V1.1 | 81,8 % | 15ᵉ / 18 | llm-stats | Auto-déclaré |
| HumanEval | 78,7 % | 46ᵉ / 65 | llm-stats | Auto-déclaré |
| MBPP | 73,2 % | 20ᵉ / 33 | llm-stats | Auto-déclaré |
| VideoMME w sub. | 72,4 % | 8ᵉ / 9 | llm-stats | Auto-déclaré |
| MATH | 71,5 % | 35ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Redux | 71,0 % | 45ᵉ / 48 | llm-stats | Auto-déclaré |
| MVBench | 70,3 % | 12ᵉ / 17 | llm-stats | Auto-déclaré |
| RealWorldQA | 70,3 % | 21ᵉ / 25 | llm-stats | Auto-déclaré |
| EgoSchema | 68,6 % | 7ᵉ / 9 | llm-stats | Auto-déclaré |
| MathVista | 67,9 % | 19ᵉ / 38 | llm-stats | Auto-déclaré |
| MultiPL-E | 65,8 % | 12ᵉ / 13 | llm-stats | Auto-déclaré |
| MMStar | 64,0 % | 18ᵉ / 22 | llm-stats | Auto-déclaré |
| MMMU | 59,2 % | 46ᵉ / 61 | llm-stats | Auto-déclaré |
| MuirBench | 59,2 % | 11ᵉ / 11 | llm-stats | Auto-déclaré |
| OCRBench_V2 | 57,8 % | 6ᵉ / 7 | llm-stats | Auto-déclaré |
| MMLU-Pro | 47,0 % | 115ᵉ / 125 | llm-stats | Auto-déclaré |
| ODinW | 42,4 % | 12ᵉ / 16 | llm-stats | Auto-déclaré |
| MMMU-Pro | 36,6 % | 59ᵉ / 60 | llm-stats | Auto-déclaré |
| GPQA | 30,8 % | 200ᵉ / 213 | llm-stats | Auto-déclaré |
| LiveBench | 29,6 % | 38ᵉ / 38 | llm-stats | Auto-déclaré |
| MathVision | 25,0 % | 31ᵉ / 31 | llm-stats | Auto-déclaré |
| MM-MT-Bench | 6,0 % | 17ᵉ / 17 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Qwen2.5-Omni-7B conserve un intérêt comme modèle open-weights sous licence Apache 2.0, un cadre permissif qui autorise l’usage commercial et l’intégration dans des environnements maîtrisés. À sa sortie, son positionnement sur GPQA le plaçait dans le haut de sa génération parmi les modèles comparables de la période. Ses meilleurs résultats disponibles concernent MVEB Video-Only, qui mesure la qualité d’embeddings vidéo seuls sur des tâches de classification et de pair classification. Ce point suggère un profil plus convaincant sur l’analyse de signaux vidéo isolés que sur les évaluations combinant texte, vidéo et audio-visuel.
Limites et points d'attention. Qwen2.5-Omni-7B doit être lu comme un modèle daté. Un an d’ancienneté représente un écart très long dans le cycle actuel des LLM, et ses performances sont probablement largement dépassées par les modèles haut de gamme plus récents. Les résultats MVEB globaux et MVEB Video-Text restent nettement plus faibles que son score Video-Only, ce qui limite l’intérêt du modèle pour les usages nécessitant des embeddings robustes entre texte, vidéo et audio-visuel. La couverture repose sur deux sources concordantes, suffisante pour établir les caractéristiques principales, mais insuffisante pour documenter finement l’entraînement ou les coûts associés.
Sources des données : LLM-Stats (llm-stats.com) · MTEB — Massive Text Embedding Benchmark.