跳到正文
原文
arXiv · Computation and Language· Utkarsh Ranjan·· 16 小时前AI 评分32

WakeKV:为中途改变读取行为注意力头设计的反应式可逆 KV 驻留方案

WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds

AI 导读

WakeKV 提出一种反应式 KV 驻留策略,把降温的注意力头移入可恢复的 CPU 储层,而非冻结或永久驱逐其状态。研究在 1.5B-8B 三个模型、针检索、长链式推理与多轮回忆三种场景下测得多数头在生成中至少改变一次读取行为;在匹配内存或预算下,WakeKV 在五个模型-场景组合上优于 SnapKV、uniform R-KV 与 ReasonAlloc 三个基线。

来源:arXiv · Computation and Language · arxiv.org