跳到正文
原文
arXiv · Computation and Language· Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 3 小时前AI 评分30

DCOCO:用并行草稿的上下文校正提升投机解码吞吐

Contextual Correction of Parallel Draftsfor Speculative Decoding

AI 导读

论文提出 DCOCO(DFlash Contextual Corrector),在保留并行草稿的同时恢复草稿块内 token 依赖,以低额外成本做上下文感知的 token 选择。

来源:arXiv · Computation and Language · arxiv.org