arXiv · Machine Learning Theory· Yikuan Li, Pinyan Lu, Fanghui Liu·· 3 小时前AI 评分26
参数高效微调方法真的不同吗？
Are Parameter-Efficient Fine-tuning Methods Really Different?
AI 导读
研究比较六种 PEFT 方法在语言模型与扩散模型上的任务性能、遗忘和预训练权重几何变化，发现所选 LoRA 系方法也近似保留预训练几何，恢复轻微漂移的奇异值谱基本不影响任务表现。LoRA 最稳定地限制遗忘且性能有竞争力，DoRA 多数对比中平均任务分高于 LoRA，PiSSA 常带来更高保留成本；恢复主导谱成分对降低通用文本 NLL 或基础图像漂移最有效。代码已开源。
来源：arXiv · Machine Learning Theory · arxiv.org