跳到正文
原文
arXiv · Information Retrieval· Wentai Xie, Parker Carlson, Shanxiu He, Tao Yang·· 16 小时前AI 评分26

Lion-SP:用于高效检索的可学习 Soft Top-K 与逐项阈值自适应稀疏优化

Adaptive Sparsity Optimization with Learnable Soft Top-K and Per-Term Thresholding for Efficient Retrieval

AI 导读

该论文提出通过可学习 soft top-K、逐项阈值(per-term thresholding)与 FLOPs 正则化协同优化模型稀疏度,以缩短 LLM 语义词扩展带来的过长查询与文档向量。在 MS MARCO 和 BEIR 数据集上,Lion-SP 显著降低平均查询与文档长度,实现更低检索延迟与存储成本,同时保持有竞争力的相关性,论文已被 SIGIR 2026 接收。

来源:arXiv · Information Retrieval · arxiv.org