arXiv · Computation and Language· Ilgee Hong, Changlong Yu, Zhenghao Xu, Xin Liu, Yuwei Zhang, Qin Lu, Bing Yin, Tuo Zhao·· 3 小时前AI 评分34
从语言反馈训练 LLM 评判器：位置选择性自蒸馏方法
Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
AI 导读
论文提出从自然语言反馈训练 LLM 评判器的自蒸馏方法，通过 per-position entropy shift 区分 context sharpening 与 context spreading 两种模式，并掩码高熵移位置以保留低尾分布。实验显示该方法在主观子类别上比 outcome-supervised RL 高 2-9 个百分点，在客观类别上保持竞争力。
来源：arXiv · Computation and Language · arxiv.org