arXiv · Machine Learning Theory· Lingxiang Wang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng·· 4 hr agoAI score31
通过奇异向量选择实现 LLM 持续学习中的稳定性—可塑性平衡
Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning
AI brief
论文提出 SVC，一种参数高效的 LLM 持续学习方法，以奇异向量通道为可塑性分配单位，在微调前用领域数据估计各通道的适配收益，并仅以固定的公共通用语料作为历史激活代理来估计遗忘成本。
Source: arXiv · Machine Learning Theory · arxiv.org