arXiv · Computation and Language· Kenan Tang, Andong Hua, Chengxuan Qian, Saket Tiwari, Yao Qin·2026-10-09 12:00· 3 小时前AI 评分42

SFT-as-Context 缓解监督微调中的遗忘问题

SFT-as-Context Mitigates Forgetting in Supervised Fine-Tuning

AI 导读

研究者提出 SFT-as-Context，一种免训练方法，让父模型把 SFT 模型的回答当作上下文来作答，从而在保留通用能力的同时获得微调能力。