跳到正文
原文
arXiv · Artificial Intelligence· Sreetama Sarkar, Saptarshi Mitra, Sitao Huang, Souvik Kundu, Peter A. Beerel·· 3 小时前AI 评分45

RaReCache:基于秩分歧选择性重计算实现跨模型 KV Cache 复用

RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation

AI 导读

RaReCache 通过秩分歧指标识别信息密集 token,让大模型基于小模型预填充的 KV cache 选择性重计算,实现跨模型 KV cache 复用。

来源:arXiv · Artificial Intelligence · arxiv.org