跳到正文
原文
arXiv · Computers and Society· Alexander Spangher, Sheldon Huang, Andreas Haupt, Noah D. Goodman, Diyi Yang, Daniel E. Ho, Sanmi Koyejo·· 16 小时前AI 评分54

研究提出 CreativePreferences 数据集,量化偏好中的可表达与可验证缺口

Verifiable, Articulable, and Tacit Components of Preference

AI 导读

论文发布 CreativePreferences 数据集,包含 2.8M 文本、317M 条人类偏好判断、7 个创意领域和 42 个基准任务。研究用可执行程序、评分规则库和密集训练模型建模,发现跨领域存在可表达性缺口和可验证性缺口,并用捕获再捕获方法估计上下界。结果显示同行评审和创意写作的可表达性缺口最大,参与判断的人越多缺口越宽;完整模型更贴近人类偏好,而把偏好表达出来会使其偏离隐性维度。

来源:arXiv · Computers and Society · arxiv.org