Evaluation sourcesOfficial evaluation
Vending-Bench 2
Andon Labs / 专业办公 · 经营模拟商店一年,处理采购、谈判、库存与定价。
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started
What and how it measures
比较同一 V2 单代理任务的期末余额,保留多次运行方差;多人竞争 Arena、不同工具和推理配置分别处理。任务中的经营成果是评测成绩,API 价格不计能力分。
How this evidence is used
观察中:补充长期经营与电商能力的价值明确;稳定原始成绩协议、运行配置与再展示许可仍待补齐。盈利也可能来自利用模拟器,不能直接等同可信经营。
Evaluation limits and attribution
观察中:补充长期经营与电商能力的价值明确;稳定原始成绩协议、运行配置与再展示许可仍待补齐。盈利也可能来自利用模拟器,不能直接等同可信经营。
Data license: 待确认榜单数据使用边界
成绩由 Andon Labs 发布,原始分数与 HOTAI 共识分使用不同尺度,不能直接相加。