arXiv · Information Retrieval· Alexia Allal, Hicham Randrianarivo, Sylvain Lamprier·· 4 hr agoAI score24
生成式信息检索中语义 ID 空间的系统性研究
A Systematic Study of Semantic ID Spaces for Generative Information Retrieval
AI brief
该研究系统探讨了生成式信息检索(GIR)中什么构成好的文档标识符(DocID),提出统一框架整合 Product Quantization(PQ)、Residual Quantization(RQ)及其混合变体,并定义一组免训练内在指标量化 DocID 质量。实验在 MS MARCO 300K 和 NQ320K 上分析 DocID 长度、码本大小等超参数对检索效果的影响,避免昂贵的下游评估开销。
Source: arXiv · Information Retrieval · arxiv.org