Skip to content
Evaluation sources

MCP Atlas

Scale AI / 专业办公 · 通过真实 MCP 服务检索资料、操作文档与数据库，完成跨软件任务。

Official evaluation
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started

What and how it measures

固定 2026 年 4 月调整后的运行协议和 100 次工具调用预算；完整 1,000 题与公开 500 题分开。只取任务通过率，不把回答条件覆盖率重复计票；裁判、重试和工具版本需随成绩批次锁定。

How this evidence is used

观察中：可补跨办公软件的工具执行证据；待确认稳定成绩导出、实际评测批次和再展示边界，目前只收录来源，不自动采集或计分。

Evaluation limits and attribution

网页旧方法说明和实时成绩可能不同步；公开题集代码不是实时成绩导出。与 Scale 的其他榜共属同一机构，不增加独立机构数。

Data license: 官方环境代码采用 MIT；该许可不自动覆盖实时网页成绩，榜单数据再展示边界待确认。

成绩由 Scale AI 发布，原始分数与 HOTAI 共识分使用不同尺度，不能直接相加。