Skip to content
Evaluation sources

τ³-Banking

Sierra / 专业办公 · 在统一工具环境中办理银行业务，检验规则理解、客户沟通与任务完成。

Official evaluation
On HOTAIAwaiting data
Evidence budget2%
Upstream dataTo verify
Last successful syncWaiting for comparable scores

What and how it measures

只比较官方 standard 银行业务、v1.0.1、alltools 和 GPT-5.2 用户模拟器；采用 pass@1。不同工具、提示、模拟器、语音模式与自定义系统不混排。

How this evidence is used

正式计分；占工具与办公预算 2%，Mercor APEX 共用的两个环境合计调整为 4%。金融业务不代表已经覆盖法律、电商等全部行业。

Evaluation limits and attribution

成绩属于固定银行任务系统，依赖模拟用户与工具协议；不是所有职业的通用正确率。

Data license: MIT · Sierra Research tau2-bench 官方仓库；保留来源署名。

成绩由 Sierra 发布，原始分数与 HOTAI 共识分使用不同尺度，不能直接相加。