稀有门控分歧如何限制可塑性：梯度流为何误判有限批量 SGD

研究显示，总体梯度流会定性误判有限批量随机梯度下降（SGD）的行为，根源在于两个 ReLU 神经元门控出现分歧的稀有输入。在双单元 ReLU 回归中，源任务训练时间 $T$ 后，梯度流可在与 $T$ 线性的时间内恢复，而在线 SGD 在 $T \gtrsim \log(b/\eta)$ 时以高概率在 $e^{c/\eta}$ 量级视野内失败。