Skip to content
Evaluation sources

OfficeQA Pro

Databricks / 专业办公 · 从大量真实财务文件中检索、计算并回答问题。

Official evaluation
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started

What and how it measures

Pro 固定 133 题，与 Full 246 题及 Pro V2 的 90 题分开；端到端检索与直接提供答案所在页面属于不同条件。Claude Agent SDK、Codex SDK、Antigravity CLI 的成绩属于各自运行系统，不能混作统一基础模型评测。它衡量文件理解，不代表办公文件的产出质量。

How this evidence is used

观察中：官方继续更新，但目前主要比较不同产品运行系统，原始汇总协议仍待核实；保留资料理解参考，不将不同工具系统的成绩直接归给基础模型。

Evaluation limits and attribution

代码及题库许可不自动覆盖所有外部成绩；新旧题集、端到端与答案页面直供条件不能混排，当前没有自动采集成绩。

Data license: 代码 Apache 2.0；题目数据 CC BY-SA 4.0，现迁至需要申请访问的 Hugging Face 数据集。

成绩由 Databricks 发布，原始分数与 HOTAI 共识分使用不同尺度，不能直接相加。