arXiv · Machine Learning Theory· Shikhar Srivastava, Christopher Kanan·· 3 小时前AI 评分45
LayerRoPE：动态深度幅度与角度叠加
LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition
AI 导读
研究者提出 LayerRoPE，将 Transformer 隐藏状态范数随深度增长的现象解释为涌现的深度位置编码，并用单一共享向量与深度条件标量替换逐层归一化权重 $\gamma$，在参数净减少、FLOPs 变化 $<0.02\%$ 的条件下实现深度轴上的隐式 RoPE。
来源：arXiv · Machine Learning Theory · arxiv.org