构建更好的 AI 基准：多少标注者才够用？

Google Research 提出森林与树的(N,K)权衡框架，研究在固定预算下标注条目数与每条目标注者数量的最优配比。实验基于毒性、DICES、D3code、Jobs 等真实主观数据集，发现每条目 3–5 个标注者常不足、多数票用广度策略、意见分布用深度策略，并开源了模拟器。