arXiv · Machine Learning Theory· Shikhar Srivastava, Christopher Kanan·· 4 hr agoAI score45
LayerRoPE：动态深度幅度与角度叠加
LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition
AI brief
研究者提出 LayerRoPE，将 Transformer 隐藏状态范数随深度增长的现象解释为涌现的深度位置编码，并用单一共享向量与深度条件标量替换逐层归一化权重 $\gamma$，在参数净减少、FLOPs 变化 $<0.02\%$ 的条件下实现深度轴上的隐式 RoPE。
Source: arXiv · Machine Learning Theory · arxiv.org