arXiv · Computation and Language· Kenan Tang, Andong Hua, Chengxuan Qian, Saket Tiwari, Yao Qin·· 4 hr agoAI score42
SFT-as-Context 缓解监督微调中的遗忘问题
SFT-as-Context Mitigates Forgetting in Supervised Fine-Tuning
AI brief
研究者提出 SFT-as-Context，一种免训练方法，让父模型把 SFT 模型的回答当作上下文来作答，从而在保留通用能力的同时获得微调能力。
Source: arXiv · Computation and Language · arxiv.org