Data Analysis

LiveBench: Data Analysis est une catégorie du benchmark LiveBench consacrée à l’évaluation des capacités d’analyse de données des modèles d’IA. Créé par l’équipe LiveBench associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, il s’appuie sur des jeux de données récents pour limiter l’obsolescence des tests.

Le benchmark mesure la capacité à manipuler, transformer, reformater et interpréter des tableaux ou jeux de données, avec des tâches incluant notamment la prédiction de colonnes. Il sert à comparer les modèles sur des opérations de données vérifiables, proches de cas d’usage analytiques structurés.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 76 modèles évalués, dont 58 de grands éditeurs. Score médian de l'ensemble : 56,1 %.

Notre analyse

Un score élevé sur LiveBench: Data Analysis indique qu’un modèle parvient à produire des réponses correctes sur des tâches de manipulation et d’interprétation de données dont la vérité-terrain est objective. La notation automatique, sans juge LLM, renforce la reproductibilité de l’évaluation et limite les biais d’appréciation subjective. La prudence reste toutefois nécessaire, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs, ce qui peut introduire des écarts de protocole ou de reporting. La portée du benchmark reste centrée sur des jeux de données en anglais et sur des tâches structurées, sans couvrir toute la diversité de l’analyse de données réelle. L’usage de jeux récents vise à réduire la contamination, mais ne l’élimine pas nécessairement. Dans la base, le classement montre une dispersion notable autour d’un score médian de 56 %, avec GPT-5.5 en tête à 81 %, ce qui suggère une marge de progression importante pour de nombreux modèles évalués.

Sources des scores : livebench.