arXiv · Artificial Intelligence· Yiren Zhao, Guanghui Song, Tianrui Qin, Kejiang Ye, Cheng-zhong Xu, Xitong Gao·· 16 小时前AI 评分30
iS-KV:基于块增量 SVD 的在线低秩 KV Cache 压缩
iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD
AI 导读
iS-KV 是一种面向长程推理的在线低秩 KV Cache 压缩方法,保留近期窗口精确表示,将较早状态增量折叠进有界秩表示,并随低秩基演进同步历史坐标以保持一致性。
来源:arXiv · Artificial Intelligence · arxiv.org