Evaluation sourcesOfficial evaluation
MathArena · ArXivLean
MathArena / ETH Zurich / 推理 · 用 Lean 验证数学证明
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started
What and how it measures
按单独试卷和版本读取原始成绩,不使用跨题库拟合的 Expected performance 综合分。
How this evidence is used
观察中:榜单成绩再展示边界尚未明确,暂不采集进正式分。
Evaluation limits and attribution
观察中:榜单成绩再展示边界尚未明确,暂不采集进正式分。
Data license: 代码 MIT;数据含 CC BY-NC-SA 4.0 边界,需区分题库与榜单成绩。
成绩由 MathArena / ETH Zurich 发布,原始分数与 HOTAI 共识分使用不同尺度,不能直接相加。