Evaluation sourcesOfficial evaluation
ARC-AGI-3
ARC Prize / 推理 · 从陌生规则中学习和泛化
On HOTAIObserving
Evidence budgetUnweighted
Upstream dataTo verify
Last successful syncCollection not started
What and how it measures
固定标准 harness,与提供商专门优化的 adapter 成绩分开。
How this evidence is used
观察中:官网 Terms 对系统性采集和聚合要求书面许可;当前官方成绩的聚合边界尚待落实。标准 harness 与 Provider Adapter 分开,不拿专用适配器最高分代表普通模型。
Evaluation limits and attribution
观察中:官网 Terms 对系统性采集和聚合要求书面许可;当前官方成绩的聚合边界尚待落实。标准 harness 与 Provider Adapter 分开,不拿专用适配器最高分代表普通模型。
Data license: 待确认榜单数据使用边界
成绩由 ARC Prize 发布,原始分数与 HOTAI 共识分使用不同尺度,不能直接相加。