SVD KV-Cache压缩：编码器修复与共享学习率陷阱
Get the story
该事件围绕 SVD KV-Cache 压缩中的参数高效适配展开。早期报道提出在低秩缓存改造中存在“共享学习率陷阱”，并讨论对编码器（encoder）进行修复（healing）的思路，指出在压缩过程中需关注编码器与解码器（decoder）的参数处理方式。2026-10-09 的 arXiv 机器学习理论报道（一手）进一步给出实验结论：在 SVD KV-Cache 压缩中，冻结 decoder、仅对 encoder 做 healing，可达到与修复 decoder 或两者兼修相当的精度，同时实测以 3 倍更少的可训练参数与 3 倍更少的优化器状态内存完成低秩缓存改造。目前进展集中在验证“仅修编码器”这一更省资源的方案有效性。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning TheorySVD KV-Cache 压缩：冻结 Decoder、修复 Encoder 的参数高效适配
在 SVD KV-Cache 压缩中，冻结 decoder、仅对 encoder 做 healing 可达到与修复 decoder 或两者兼修相当的精度，并以实测 3x 更少可训练参数与 3x 更少优化器状态内存完成低秩缓存改造。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.