arXiv · Computation and Language· Guancheng Du, Luotian Huang, Shaowen Wang, Si Li, Kaifeng Lyu·· 4 hr agoAI score36
WavePrune：RoPE 的一个周期往往就足够
WavePrune: One period is often enough for RoPE
AI brief
WavePrune 将 RoPE 每个通道限制在首个旋转周期内，消除位置混叠造成的注意力干扰。在未额外调优的情况下，五款模型中四款的 HELMET 分数提升，Qwen3-8B 由 35.7 升至 40.0；自预训练时在外推长度上验证损失更低。配套硬件对齐的 CUDA kernel 在 32K 上下文下相对 FlashAttention-2 实现 1.15x 预填充与 1.24x 解码加速。
Source: arXiv · Computation and Language · arxiv.org