arXiv · Computation and Language· Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia·· 4 hr agoAI score42
面向循环语言模型的混合潜注意力
Hybrid Latent Attention for Looped Language Models
AI brief
研究者提出 Hybrid Latent Attention（HLA），在滑动窗口内保留精确键值、窗口外的旧 token 存为紧凑潜表示，供每层循环直接读取，无需重建键值。
Source: arXiv · Computation and Language · arxiv.org