跳到正文
原文
arXiv · Computation and Language· Geonmo Gu, Byeongho Heo, HeeJae Jun, Yoohoon Kang, Sangmin Lee, Sangdoo Yun, Dongyoon Han·· 3 小时前AI 评分33

DLoop:循环式投机解码

DLoop: Looped Speculative Decoding

AI 导读

DLoop 是一种循环式投机解码方法,在草稿模型保持高置信度时连续执行多个草稿阶段,再统一验证累积的草稿 token,从而减少目标模型前向传播次数。

来源:arXiv · Computation and Language · arxiv.org