arXiv · Information Retrieval· Edan Kinderman, Elad Hoffer, Yochai Blau, Brian Chmiel, Ron Banner, Daniel Soudry, Boris Ginsburg·· 4 hr agoAI score40
UNREAL：用单一模型统一检索与长上下文
UNREAL: Unifying Retrieval and Long-Context with a Single Model
AI brief
UNREAL 提出模型原生证据选择框架，直接从冻结 LLM 的内部表征编码 chunk 并生成检索查询，新增参数不足 500K，主干模型保持不变。在 3B token、2100 万 chunk 的 Wikipedia 索引上，四种 dense 与 hybrid 骨干均超越 SOTA 检索-重排系统，HotpotQA 召回率从 49.1% 升至 73.2%。
Source: arXiv · Information Retrieval · arxiv.org