arXiv · Computation and Language· Huan Li, Zhe Cao, Qinlei Xie, Fushun Cui, Xuechen Liang·· 4 hr agoAI score32
通过条件锚定蒸馏稳定持续学习下的语言模型
Stabilizing language models under continual learning via condition-anchored distillation
AI brief
提出条件锚定生成蒸馏（CAGD）：保留少量旧 prompt，用冻结的前一模型重建补全与生成状态，并在学习下一任务时匹配其预测分布。
Source: arXiv · Computation and Language · arxiv.org