arXiv · Computation and Language· Siyan Zhao, Yonggan Fu, Jindong Jiang, Shih-Yang Liu, Song Bian, Byung-Kwan Lee, Sharath Turuvekere Sreenivas, Wenliang Dai, Hanrong Ye, Aditya Grover, Pavlo Molchanov·· 4 hr agoAI score56
何时需要在线策略蒸馏？离线学生轨迹蒸馏往往更优
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
AI brief
论文提出 Semi-OPD，在初始学生模型生成的离线轨迹上做蒸馏，在 17 组 1.5B 到 235B 参数的师生模型中 14 组优于 OPD，准确率最高提升 13.6%，训练速度最高加快 11.4 倍。研究进一步用输出 token 重叠率刻画师生初始对齐程度，认为只有高重叠时 OPD 才有优势，Semi-OPD 因在更短上下文上覆盖完整轨迹而更稳定。
Source: arXiv · Computation and Language · arxiv.org