arXiv · Computation and Language· Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia·2026-10-07 12:00· 3 小时前AI 评分42

面向循环语言模型的混合潜注意力

Hybrid Latent Attention for Looped Language Models

AI 导读

研究者提出 Hybrid Latent Attention（HLA），在滑动窗口内保留精确键值、窗口外的旧 token 存为紧凑潜表示，供每层循环直接读取，无需重建键值。