热点事件持续更新
随机掩码在LoRA B矩阵遗忘抑制上优于梯度归因
1 篇报道1 个报道来源2 小时前 更新
先了解这件事
AI 综述
在 Qwen2.5-3B 上，研究将初始化时的梯度掩码与随机掩码限定到同一参数池后比较遗忘抑制效果。结果显示，均匀随机掩码在 7 个随机种子下均取得更低的基于损失的 backward transfer，静态梯度归因反而落后。该优势集中在医疗任务（贡献总量的 80%），代码与数学同向，法律无可靠差异；在医疗与法律两个离散选项任务上，平均 accuracy-BWT 差异在统计上与零无法区分。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
同参数池下随机掩码在7个种子上均降低基于损失的BWT，梯度归因落后，优势集中于医疗任务。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · Machine Learning Theory静态梯度归因在 LoRA B 矩阵遗忘任务中不及密度匹配的随机掩码
在 Qwen2.5-3B 上，将初始化时梯度掩码与随机掩码限定到同一参数池后，均匀随机掩码在 7 个随机种子下均取得更低的基于损失的 backward transfer，梯度归因反而落后。该优势集中在医疗任务（贡献总量的 80%），代码与数学同向，法律无可靠差异；在医疗与法律两个离散选项任务上，平均 accuracy-BWT 差异在统计上与零无法区分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。