Evaluation sourcesOfficial evaluation
Hyper-τ-bench
Sierra / 编程 · 根据业务资料构建并测试能工作的客户服务代理。
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started
What and how it measures
衡量代理开发与调试,和直接执行客户服务的 τ³-Banking 分开;固定开发工具、运行时长与验收环境,不能跨系统挑最高成绩。
How this evidence is used
观察中:可补编程与业务系统开发,先完成原始成绩、许可和固定运行条件审查;不因新发布就自动计分。
Evaluation limits and attribution
观察中:可补编程与业务系统开发,先完成原始成绩、许可和固定运行条件审查;不因新发布就自动计分。
Data license: 待确认榜单数据使用边界
成绩由 Sierra 发布,原始分数与 HOTAI 共识分使用不同尺度,不能直接相加。