arXiv · Computation and Language· Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Wajih Hassan Raza, Atta Ul Asad, Young D. Kwon, Michal Valko, Dean F. Hougen·· 3 小时前AI 评分37
KV Cache 驱逐的蒙特卡洛估计：提出免训练方法 LORE-KV
Monte Carlo Estimation for KV Cache Eviction
AI 导读
论文提出 LORE-KV，一种免训练的 KV cache 驱逐方法，通过从冻结模型采样短自回归续写，用响应侧 query 状态估计 prompt-token 效用，无需辅助模型或训练。
来源：arXiv · Computation and Language · arxiv.org