arXiv · Information Retrieval· Han Luo, Zhan Zhuang, Xu He, Jujia Zhao, Yu Li, Suqin Yuan, Dong Li, Lei Feng·· 2 小时前AI 评分31
Beyond the Final Embedding:如何基于 token 级证据检索记忆
Beyond the Final Embedding: Retrieving Memories from Token-Level Evidence
AI 导读
一项新方法用稀疏 token 匹配改进记忆检索,无需额外训练即可在八个 benchmark 和多个模型族上提升效果。该方法让每个 query token 在候选记忆中匹配少量 token,聚合得分并与整体记忆相似度结合排序;可选的低秩 query adapter 可在固定编码器和已存记忆表征的前提下训练。
来源:arXiv · Information Retrieval · arxiv.org