Skip to content
arXiv · Artificial Intelligence· Yuyang Dai, Yushun Dong·· 4 hr agoAI score30

轨迹检索投机解码:模型自身历史何时有用?

Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?

AI brief

论文提出 Trajectory-Local Adaptive Retrieval(TLAR),在长链式推理中从当前轨迹检索近似匹配的续写作为草稿,并用近期验证结果调节检索激活与候选宽度。TLAR 将检索续写与模型生成草稿合并到共享候选树,通过精确验证保持目标模型输出分布。在代码调试、数学和开放写作任务上,与强检索基线结合后在匹配验证预算下提升 token 接受率,并较草稿模型基线提高端到端吞吐。

Source: arXiv · Artificial Intelligence · arxiv.org