Skip to content
Hot eventLive

随机掩码在LoRA B矩阵遗忘抑制上优于梯度归因

1 reports1 sources2 hr ago updated

Get the story

AI overview

在 Qwen2.5-3B 上，研究将初始化时的梯度掩码与随机掩码限定到同一参数池后比较遗忘抑制效果。结果显示，均匀随机掩码在 7 个随机种子下均取得更低的基于损失的 backward transfer，静态梯度归因反而落后。该优势集中在医疗任务（贡献总量的 80%），代码与数学同向，法律无可靠差异；在医疗与法律两个离散选项任务上，平均 accuracy-BWT 差异在统计上与零无法区分。

Generated from reports · updated 2 hr ago

LatestOct 12
同参数池下随机掩码在7个种子上均降低基于损失的BWT，梯度归因落后，优势集中于医疗任务。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Machine Learning Theory
    静态梯度归因在 LoRA B 矩阵遗忘任务中不及密度匹配的随机掩码

    在 Qwen2.5-3B 上，将初始化时梯度掩码与随机掩码限定到同一参数池后，均匀随机掩码在 7 个随机种子下均取得更低的基于损失的 backward transfer，梯度归因反而落后。该优势集中在医疗任务（贡献总量的 80%），代码与数学同向，法律无可靠差异；在医疗与法律两个离散选项任务上，平均 accuracy-BWT 差异在统计上与零无法区分。

Heat trend

There is not enough continuous observation data to draw a trend yet.