Skip to content
Evaluation sources

Hyper-τ-bench

Sierra / 编程 · 根据业务资料构建并测试能工作的客户服务代理。

Official evaluation
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started

What and how it measures

衡量代理开发与调试,和直接执行客户服务的 τ³-Banking 分开;固定开发工具、运行时长与验收环境,不能跨系统挑最高成绩。

How this evidence is used

观察中:可补编程与业务系统开发,先完成原始成绩、许可和固定运行条件审查;不因新发布就自动计分。

Evaluation limits and attribution

观察中:可补编程与业务系统开发,先完成原始成绩、许可和固定运行条件审查;不因新发布就自动计分。

Data license: 待确认榜单数据使用边界

成绩由 Sierra 发布,原始分数与 HOTAI 共识分使用不同尺度,不能直接相加。