arXiv · Machine Learning Theory· Yufeng Wang·· 4 hr agoAI score29
SVD KV-Cache 压缩：冻结 Decoder、修复 Encoder 的参数高效适配
Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
AI brief
在 SVD KV-Cache 压缩中，冻结 decoder、仅对 encoder 做 healing 可达到与修复 decoder 或两者兼修相当的精度，并以实测 3x 更少可训练参数与 3x 更少优化器状态内存完成低秩缓存改造。
Source: arXiv · Machine Learning Theory · arxiv.org