arXiv · Machine Learning Theory· Jiawei Lin, Saibo Geng, Thomas Bourgeat·· 5 小时前AI 评分42
EchoPress：通过虚拟上下文重建实现查询无关的 KV Cache 剪枝
EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction
AI 导读
EchoPress 是一种无需训练的 KV cache 剪枝方法，通过标准 prefill 阶段的 queries 和 keys 近似重建注意力，仅对第一个 chunk 重建以校准剩余上下文的重要性分数。
来源：arXiv · Machine Learning Theory · arxiv.org