arXiv · Machine Learning Theory· Zhexi Lu, Subhajit Chaudhury, Tejaswini Pedapati, Keerthiram Murugesan, Lei Yu·2026-10-01 12:00· 3 小时前AI 评分38

Activation-Conditioned Self-Distillation

AI 导读

提出激活条件自蒸馏（ACSD），通过对比生成轨迹中到达正确答案与未到达的激活向量提取引导向量，冻结基模型施加该向量，学生模型基于自生成前缀学习下一步分布。