Skip to content
Hot eventLive

HLA：循环语言模型混合潜注意力，缓存降10.7倍

1 reports1 sources3 hr ago updated

Get the story

AI overview

研究者提出面向循环语言模型的混合潜注意力（Hybrid Latent Attention，HLA）。该方法在滑动窗口内保留精确键值，窗口外的旧 token 存为紧凑潜表示，供每层循环直接读取，无需重建键值。此前报道还提到 HLA 可将缓存降低10.7倍；本次新报道未重复该数字，也未给出实验规模、基准或与其他方法的对比数据。

Generated from reports · updated 3 hr ago

LatestOct 7
新报道详述HLA机制：窗口内精确键值、窗口外旧token以紧凑潜表示供循环读取。

Timeline

Follow the coverage from different angles.

Oct 7, 2026
  1. arXiv · Computation and Language
    面向循环语言模型的混合潜注意力

    研究者提出 Hybrid Latent Attention（HLA），在滑动窗口内保留精确键值、窗口外的旧 token 存为紧凑潜表示，供每层循环直接读取，无需重建键值。

Heat trend

There is not enough continuous observation data to draw a trend yet.