跳到正文
原文
arXiv · Multiagent Systems· Vincent-Daniel Yun, Woosang Lim, Haneul Yoo, Sungjoo Yoo, Murali Annavaram, Sai Praneeth Karimireddy·· 3 小时前AI 评分42

HeteroFold:跨模型族免预填充 KV Cache 传输方法

Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs

AI 导读

HeteroFold 提出一种免预填充的跨模型族 KV Cache 传输方法,发送端与接收端均保持冻结,通过结构对齐、缓存映射与校准保留接收端行为。

来源:arXiv · Multiagent Systems · arxiv.org