跳到正文
原文
arXiv · Information Retrieval· Weihao Shen, Wei Chen, Fuwei Zhang, Guojun Liu, Qingsong Hua, Wei Lin, Fuzhen Zhuang·· 3 小时前AI 评分34

残差轨迹蒸馏用于生成式检索(Residual Trajectory Distillation for Generative Retrieval)

Residual Trajectory Distillation for Generative Retrieval

AI 导读

残差量化构建的 SID 训练只监督选定码本、丢弃残差轨迹,ResTD 将冻结 RQ 索引器作为过程教师,把残差诱导的码本偏好蒸馏到 SID 解码状态。多语言电商检索实验显示优于强基线与匹配训练对照,代码已开源。

来源:arXiv · Information Retrieval · arxiv.org