AttSVD：注意力引导SVD的提示自适应KV缓存压缩
Get the story
2026年10月7日，arXiv Machine Learning Theory（一手来源）发布 AttSVD 方法。AttSVD 是一种免训练的 KV Cache 压缩方法，按每个提示词的注意力几何做在线截断 SVD，保留注意力实际读取的方向，按保留秩比例降低每头 KV 内存。方法提出累积与流式两种解码时缓存策略，并以逐矩阵能量规则和注意力感知基截断做自适应压缩。报道显示，该方法在多个模型、agentic benchmark 与完整 LongBench 上与稠密缓存持平，KV 内存最多节省 50%。目前未见后续报道或独立验证信息。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning TheoryAttSVD：基于注意力引导 SVD 的提示自适应低秩 KV Cache 压缩
AttSVD 是一种免训练的 KV Cache 压缩方法，按每个提示词的注意力几何做在线截断 SVD，保留注意力实际读取的方向，按保留秩比例降低每头 KV 内存。提出累积与流式两种解码时缓存策略，并以逐矩阵能量规则和注意力感知基截断做自适应压缩。在多个模型、agentic benchmark 与完整 LongBench 上与稠密缓存持平，KV 内存最多节省 50%。
Heat trend
Current heat 9·Comparable peak 10（Oct 7）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.