热点事件持续更新
论文：梯度流对有限批量SGD的误判
1 篇报道1 个报道来源2 小时前 更新
先了解这件事
AI 综述
2026年10月9日，arXiv Statistics Machine Learning 发布一手研究《稀有门控分歧如何限制可塑性：梯度流为何误判有限批量 SGD》。研究显示，总体梯度流会定性误判有限批量随机梯度下降（SGD）的行为，根源在于两个 ReLU 神经元门控出现分歧的稀有输入。在双单元 ReLU 回归中，源任务训练时间 T 后，梯度流可在与 T 线性的时间内恢复；而在线 SGD 在 T ≳ log(b/η) 时以高概率在 e^{c/η} 量级视野内失败。目前报道仅给出上述结论，未涉及后续验证或同行评议进展。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
新研究称梯度流会定性误判有限批量SGD，源于ReLU门控分歧的稀有输入。报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv · Statistics Machine Learning稀有门控分歧如何限制可塑性：梯度流为何误判有限批量 SGD
研究显示，总体梯度流会定性误判有限批量随机梯度下降（SGD）的行为，根源在于两个 ReLU 神经元门控出现分歧的稀有输入。在双单元 ReLU 回归中，源任务训练时间 $T$ 后，梯度流可在与 $T$ 线性的时间内恢复，而在线 SGD 在 $T \gtrsim \log(b/\eta)$ 时以高概率在 $e^{c/\eta}$ 量级视野内失败。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。