arXiv · Machine Learning Theory· Zirui Peng, Yizhou Liu, Ziming Liu, Jeff Gore·2026-10-09 12:00· 3 小时前AI 评分36

注意力非线性如何催生逆深度缩放

Emergent Inverse-Depth Scaling From Nonlinearity In Attention

AI 导读

论文提出，注意力机制的非线性可让损失随模型深度呈逆深度衰减，在所有测试数据谱中均成立。非线性使注意力能选择性聚焦相关 token，强弱谱方向可并行学习；层间共享误差决定损失平台，层间差异聚合则随深度持续增益。该研究认为深度缩放可能源于注意力的非线性，使大语言模型实现局部聚焦。