arXiv · Computation and Language· Sangdo Han, Moonsoo Kim·· 3 hr agoAI score40
无标签评分标准澄清提升 LLM 评审共识但未提升与人类的一致性
Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
AI brief
一项研究测试了无标签流程：将评分标准拆分为子标准，按跨评审分歧排序，仅让编辑模型重写争议最大的条款。在 SummEval 上，五名来自三家提供商的评审共处理 129,770 次请求，评审间 Krippendorff's α 提升 0.069，但与专家评分的 Kendall τ 无可检测变化；HealthBench 与 USR 均未达预设效果标准。
Source: arXiv · Computation and Language · arxiv.org