PEFT方法对比：性能、遗忘与权重几何变化
Get the story
2026年10月8日，arXiv Machine Learning Theory发布一项研究，比较六种参数高效微调（PEFT）方法在语言模型与扩散模型上的任务性能、遗忘及预训练权重几何变化。研究发现，所选LoRA系方法也近似保留预训练几何，恢复轻微漂移的奇异值谱基本不影响任务表现。LoRA最稳定地限制遗忘且性能有竞争力；DoRA在多数对比中平均任务分高于LoRA；PiSSA常带来更高保留成本；恢复主导谱成分对降低通用文本NLL或基础图像漂移最有效。研究代码已开源。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning Theory参数高效微调方法真的不同吗？
研究比较六种 PEFT 方法在语言模型与扩散模型上的任务性能、遗忘和预训练权重几何变化，发现所选 LoRA 系方法也近似保留预训练几何，恢复轻微漂移的奇异值谱基本不影响任务表现。LoRA 最稳定地限制遗忘且性能有竞争力，DoRA 多数对比中平均任务分高于 LoRA，PiSSA 常带来更高保留成本；恢复主导谱成分对降低通用文本 NLL 或基础图像漂移最有效。代码已开源。
Heat trend
Current heat 9·Comparable peak 10（Oct 8）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.