跳到正文
原文
arXiv · Computation and Language· Haojin Wang, Dylan Zhang, Huaibo Chen, Suhao Yu, Yihang Sun, Zhanyang Jin, Jiaying Ye, Dianqi Li, Prasanna Sattigeri, Kamal Youcef-Toumi, Hao Peng·· 6 小时前AI 评分38

OLIVE:通过教师续写学生状态实现在线语言模型蒸馏

Learning from Teacher Continuations at Student States

AI 导读

OLIVE(OnLine InterVEntion)在每次迭代中让学生策略生成新前缀,教师自回归续写,学生基于教师生成的 token 计算交叉熵更新。它解决了离线 SFT 的序贯协变量偏移、前缀失败的碎片监督以及分布匹配蒸馏需要教师 token 概率的问题。

来源:arXiv · Computation and Language · arxiv.org