跳到正文
热点事件持续更新

从语言反馈训练 LLM 评判器:位置选择性自蒸馏方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

论文提出从自然语言反馈训练 LLM 评判器的自蒸馏方法,利用 per-position entropy shift 区分 context sharpening 与 context spreading 两种模式,并掩码高熵移位置以保留低尾分布。实验显示该方法在主观子类别上比 outcome-supervised RL 高 2-9 个百分点,在客观类别上保持竞争力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. arXiv · Computation and Language
    从语言反馈训练 LLM 评判器:位置选择性自蒸馏方法

    论文提出从自然语言反馈训练 LLM 评判器的自蒸馏方法,通过 per-position entropy shift 区分 context sharpening 与 context spreading 两种模式,并掩码高熵移位置以保留低尾分布。实验显示该方法在主观子类别上比 outcome-supervised RL 高 2-9 个百分点,在客观类别上保持竞争力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。