Semi-OPD：离线学生轨迹蒸馏常优于在线策略蒸馏
Get the story
2026年10月9日，arXiv（Computation and Language，一手来源）发表论文提出 Semi-OPD 方法：在初始学生模型生成的离线轨迹上进行蒸馏，而非采用在线策略蒸馏（OPD）。论文报告，在 17 组参数规模从 1.5B 到 235B 的师生模型组合中，Semi-OPD 有 14 组表现优于 OPD，准确率最高提升 13.6%，训练速度最高加快 11.4 倍。研究进一步用输出 token 重叠率刻画师生模型的初始对齐程度，认为只有在高重叠情况下 OPD 才具有优势；Semi-OPD 由于在更短上下文上覆盖完整轨迹而更稳定。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and Language何时需要在线策略蒸馏？离线学生轨迹蒸馏往往更优
论文提出 Semi-OPD，在初始学生模型生成的离线轨迹上做蒸馏，在 17 组 1.5B 到 235B 参数的师生模型中 14 组优于 OPD，准确率最高提升 13.6%，训练速度最高加快 11.4 倍。研究进一步用输出 token 重叠率刻画师生初始对齐程度，认为只有高重叠时 OPD 才有优势，Semi-OPD 因在更短上下文上覆盖完整轨迹而更稳定。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.