Legal Agent Benchmark

Legal Agent Benchmark est un benchmark open source de Harvey AI consacré à l’évaluation d’agents IA sur des travaux juridiques complexes et de longue durée. Il vise des situations proches d’un dossier client, où le modèle doit analyser des informations, les synthétiser et produire des livrables juridiques structurés.

Son rôle est de tester non seulement la réponse finale, mais aussi la capacité à respecter des exigences juridiques détaillées. Les tâches sont jugées à partir de rubriques d’experts, ce qui en fait un cadre exigeant pour comparer des modèles sur des usages juridiques spécialisés.

Carte d'identité

Classement des modèles (top 11)

Classement établi sur 11 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 0,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Legal Agent Benchmark indique qu’un modèle parvient à satisfaire l’ensemble des critères attendus pour une tâche juridique longue, notamment les faits, les conclusions, les citations, la structure et les étapes d’analyse. Le standard all-pass rend l’évaluation particulièrement stricte : une tâche n’est validée que si tous les critères requis sont réussis. Les scores observés dans la base suggèrent un benchmark encore très difficile, avec une médiane à 1 % et un meilleur résultat à 13 % pour Claude Fable 5. Le classement met donc surtout en évidence une marge de progression importante pour les agents IA juridiques. La fiabilité doit toutefois être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Les limites tiennent aussi à la portée du benchmark, centré sur l’anglais et le travail juridique complexe, ainsi qu’au caractère public du jeu, qui peut accroître le risque de contamination au fil du temps.

Sources des scores : llm-stats.