arXiv · Computation and Language· Taiga Ikeda, Daisuke Miyashita, Jun Deguchi·· 3 小时前AI 评分36
KV-Repurpose：评测非前缀 KV-cache 复用的测试平台
KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse
AI 导读
KV-Repurpose 是一个基于 vLLM 的开源系统，用于开发和评测超越精确前缀的分段式 KV-cache 复用，整合缓存感知分段调度、提示词构建、容量管理、负载生成与运行时监控。
来源：arXiv · Computation and Language · arxiv.org