跳到正文
原文
Amazon Science·· 2026-06-03精选AI 评分73

Ground truth is a process, not a dataset

Ground truth is a process, not a dataset

AI 导读

Amazon AGI 团队提出 audit-then-score 协议与 DeepFact-Bench、DeepFact-Eval 两套数据集,用于评估 AI 生成的研究报告。实验显示,未经辅助的专家在已知答案集上仅 60.8% 准确率,而经过四轮审核校准后升至 90.9%;DeepFact-Eval 基于 GPT-4.1 达 83.4%,优于传统事实核查系统与既有深度研究系统。

推荐理由

原文揭示了深度研究场景下静态基准的局限,为理解 AI 评估体系的演进方向提供了可迁移方法。

来源:Amazon Science · amazon.science