Evaluation sourcesOfficial evaluation
SpreadsheetBench 2
SpreadsheetBench / Renmin University / AfterQuery / 专业办公 · 完成财务建模、修复工作簿和数据可视化的整套表格工作。
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started
What and how it measures
固定 V2 的 321 个任务和统一 SWE-agent 条件;独立办公产品和其他 scaffold 成绩不归给基础模型。表格可视化的正确性不等于广泛审美。
How this evidence is used
观察中:已有稳定 JSON 和逐行日期,但当前统一条件下的基础模型覆盖不足;等待当期型号实测后再接入分数。
Evaluation limits and attribution
观察中:已有稳定 JSON 和逐行日期,但当前统一条件下的基础模型覆盖不足;等待当期型号实测后再接入分数。
Data license: 官方网站页尾声明 MIT;数据集与代码入口公开。
成绩由 SpreadsheetBench / Renmin University / AfterQuery 发布,原始分数与 HOTAI 共识分使用不同尺度,不能直接相加。