MedXpertQA

MedXpertQA est un benchmark médical conçu par le laboratoire C3I de l’Université Tsinghua pour évaluer des modèles d’IA sur des tâches de connaissances médicales et de raisonnement clinique de niveau expert.

Le jeu combine des questions textuelles et multimodales, avec images médicales, dossiers patients et résultats d’examens. Il sert à tester la capacité des modèles à mobiliser des informations cliniques complexes dans un format proche d’examens médicaux spécialisés.

Carte d'identité

Classement des modèles (top 12)

Classement établi sur 12 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 53,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MedXpertQA indique une bonne capacité à répondre à des QCM médicaux exigeants, en particulier lorsque le modèle doit relier connaissances spécialisées, contexte clinique et éléments visuels. La comparaison entre sous-ensembles Text et MM permet aussi d’observer si la performance repose surtout sur le langage ou s’étend à l’interprétation multimodale. Dans la base, le classement montre un écart notable entre le score médian et le meilleur résultat, avec Muse Spark en tête, ce qui suggère une différenciation encore nette entre modèles. La lecture des scores doit toutefois rester prudente : leur fiabilité est majoritairement auto-déclarée par les éditeurs, donc moins robuste qu’une évaluation entièrement reproduite de manière indépendante. Les limites habituelles s’appliquent également, notamment le risque de contamination des données d’entraînement, une portée centrée sur des QCM en anglais, et une possible saturation si les modèles progressent rapidement sur ce type de format.

Sources des scores : llm-stats.