Skip to content
Evaluation sources

Harvey Legal Agent Benchmark

Vals AI / Harvey / 专业办公 · 处理法律资料并交付 Word、Excel、幻灯片等可审阅文件。

Official evaluation
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started

What and how it measures

固定 Harvey 私有测试集、六项文件工具和 docx、xlsx、pptx 技能，禁用互联网；采用两名裁判的整任务通过率均值，不使用单项条件通过率替代。Fable 5 含 Opus 4.8 回退的 11.25% 不能归给单模型；官方另列无回退 10.42%，须按统一配置政策审查。

How this evidence is used

观察中：优先补充完整法律工作证据；稳定成绩导出、配置和再展示边界待落实，当前仅收录来源，不自动采集或计分。

Evaluation limits and attribution

模型回退和裁判条件影响可比性；约 90% 的单项条件通过率不等于整项工作完成。同属 Vals 的多个专项不能当作多家独立机构，也不能按榜单数量增加总权重。

Data license: 官方公开成绩可供查阅；Harvey 开源题库和代码许可不自动覆盖 Vals 私有测试成绩，榜单数据再展示边界待确认。

成绩由 Vals AI / Harvey 发布，原始分数与 HOTAI 共识分使用不同尺度，不能直接相加。