论文：非线性注意力中的涌现逆深度缩放

2026年10月9日，arXiv Machine Learning Theory发布论文，提出注意力机制的非线性可让损失随模型深度呈逆深度衰减，并称该现象在所有测试数据谱中均成立。论文认为，非线性使注意力能选择性聚焦相关token，强弱谱方向可并行学习；层间共享误差决定损失平台，层间差异聚合则随深度持续增益。研究进一步指出，深度缩放可能源于注意力的非线性，从而使大语言模型实现局部聚焦。目前该事件仅有此一篇报道，尚无后续验证或同行评议信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。