Skip to content
Hot eventLive

WavePrune论文：限制RoPE通道至首个旋转周期

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月7日，arXiv Computation and Language 发布 WavePrune 论文（一手报道）。该方法将 RoPE 每个通道限制在首个旋转周期内，以消除位置混叠造成的注意力干扰。论文称在未额外调优的情况下，五款模型中四款的 HELMET 分数提升，其中 Qwen3-8B 由 35.7 升至 40.0；自预训练时在外推长度上验证损失更低。配套硬件对齐的 CUDA kernel 在 32K 上下文下相对 FlashAttention-2 实现 1.15x 预填充与 1.24x 解码加速。目前未见后续验证或同行评议信息。

Generated from reports · updated 3 hr ago

LatestOct 7
arXiv 发布 WavePrune 论文，称限制 RoPE 至首个周期可提升 HELMET 分数并带来 1.15x/1.24x 加速。

Timeline

Follow the coverage from different angles.

Oct 7, 2026
  1. arXiv · Computation and Language
    WavePrune：RoPE 的一个周期往往就足够

    WavePrune 将 RoPE 每个通道限制在首个旋转周期内，消除位置混叠造成的注意力干扰。在未额外调优的情况下，五款模型中四款的 HELMET 分数提升，Qwen3-8B 由 35.7 升至 40.0；自预训练时在外推长度上验证损失更低。配套硬件对齐的 CUDA kernel 在 32K 上下文下相对 FlashAttention-2 实现 1.15x 预填充与 1.24x 解码加速。

Heat trend

Current heat 9·Comparable peak 10（Oct 7）·Comparable change over 24 hours –

02.557.510Oct7Oct7Oct7Oct7

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.