arXiv · Artificial Intelligence· Sreetama Sarkar, Saptarshi Mitra, Sitao Huang, Souvik Kundu, Peter A. Beerel·· 3 小时前AI 评分45
RaReCache:基于秩分歧选择性重计算实现跨模型 KV Cache 复用
RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation
AI 导读
RaReCache 通过秩分歧指标识别信息密集 token,让大模型基于小模型预填充的 KV cache 选择性重计算,实现跨模型 KV cache 复用。
来源:arXiv · Artificial Intelligence · arxiv.org