arXiv · Computation and Language· Haojin Wang, Dylan Zhang, Huaibo Chen, Suhao Yu, Yihang Sun, Zhanyang Jin, Jiaying Ye, Dianqi Li, Prasanna Sattigeri, Kamal Youcef-Toumi, Hao Peng·· 6 小时前AI 评分38
OLIVE:通过教师续写学生状态实现在线语言模型蒸馏
Learning from Teacher Continuations at Student States
AI 导读
OLIVE(OnLine InterVEntion)在每次迭代中让学生策略生成新前缀,教师自回归续写,学生基于教师生成的 token 计算交叉熵更新。它解决了离线 SFT 的序贯协变量偏移、前缀失败的碎片监督以及分布匹配蒸馏需要教师 token 概率的问题。
来源:arXiv · Computation and Language · arxiv.org