arXiv · Information Retrieval· Anders Wikum, Nina Mishra, Amin Saberi, Tal Wagner·· 16 小时前AI 评分39
学习查询编码器可能很难,即使向量检索在几何上很容易
Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
AI 导读
论文提出以冻结文档索引可达的最大召回率衡量几何容量,并在多个真实检索基准上发现单向量查询编码器的检索质量常远低于索引可支持的上限。作者给出理论证据:存在一个检索任务,可用小型单隐层 ReLU 网络实现完美召回的查询编码器,但任何统计查询学习器要超越随机基线 k/n 都需要指数级多的统计查询。研究认为检索基准存在大量未实现的几何容量,查询编码器可学习性是嵌入检索的潜在瓶颈。
来源:arXiv · Information Retrieval · arxiv.org