arXiv · Computation and Language· Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong, Weihao Yuan, Siyu Zhu·· 3 小时前AI 评分44
REMORY：学习残差记忆以压缩上下文
REMORY: Learning Residual Memory for Context Compaction
AI 导读
REMORY 是一种神经记忆网络，在文本摘要之外生成有限数量的 soft memory token，帮助冻结的 LLM 逼近使用完整历史时的续写效果。在 SummHay 上，REMORY 仅用 5.2% 的输入位置即接近全上下文联合得分，来源归因提升而洞察覆盖率几乎不变。
来源：arXiv · Computation and Language · arxiv.org