arXiv · Machine Learning Theory· Junkang Liu·· 16 小时前AI 评分25
MuLoRA：面向持续学习的谱平衡低秩适配
MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning
AI 导读
研究者提出 MuLoRA，一种面向持续学习的谱平衡低秩适配方法，针对 LoRA 在序列适配中出现的“谱可塑性坍缩”问题，联合控制容量分配与利用率。方法通过历史白化构建任务自适应基、对动量更新做近似极正交化，并以正交基精确传递因子更新谱。在五个类增量基准、八个增量设置的 16 项指标中，MuLoRA 在 15 项上取得最高平均准确率。
来源：arXiv · Machine Learning Theory · arxiv.org