arXiv · Machine Learning Theory· Yu Sun, Junwei Zhou, Zuodong Xiang, Yike Zhang, Pengcheng Xu, Xinyu Guan, Ruoyun Ma, Hailu Xu·· 3 hr agoAI score22
静态梯度归因在 LoRA B 矩阵遗忘任务中不及密度匹配的随机掩码
Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix
AI brief
在 Qwen2.5-3B 上，将初始化时梯度掩码与随机掩码限定到同一参数池后，均匀随机掩码在 7 个随机种子下均取得更低的基于损失的 backward transfer，梯度归因反而落后。该优势集中在医疗任务（贡献总量的 80%），代码与数学同向，法律无可靠差异；在医疗与法律两个离散选项任务上，平均 accuracy-BWT 差异在统计上与零无法区分。
Source: arXiv · Machine Learning Theory · arxiv.org