arXiv · Computation and Language· Hanzuo Liu, Chunyu Liu, Chaofan Lin, Alex Lamb, Mingyu Gao·· 4 hr agoAI score37
EncBank：在 LLM 查询间实现紧凑可复用的编码器缓存
Cache the Encoder Within:Compact, Reusable Memory across LLM Queries
AI brief
EncBank 把预训练 LLM 的低层当作可复用文档编码器，压缩存储其输出供上层 reader 使用，并在同一 backbone 内跨存储精度共享自蒸馏后缀适配器，无需按量化单独重训。
Source: arXiv · Computation and Language · arxiv.org