arXiv · Computation and Language· Feifei Qian, Xuan Chen, Lixin Cui, Chaoyang Mei, Fanlin Meng, Shuyao Xiao, Ming Cui, Junxi Yin, Lu Bai·· 3 hr agoAI score37
从结构到有效性：LLM 评分标准的机制引导生成与优化
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
AI brief
论文对 LLM 评分标准设计做系统性机制分析，覆盖准则组织、准则操作化与分数聚合，发现结构化组织带来更全面的准则构建，仅靠语义规范无法保证准则级判断有效，复杂分数聚合增益有限。研究提出 ARTS-Hybrid，结合自适应树构建与语义优先、响应校准的优化，在多个 benchmark 上提升端到端评估表现与评分标准内在质量。实验还表明 ARTS-Hybrid 生成的评分标准可为模型优化提供有效信号。
Source: arXiv · Computation and Language · arxiv.org