arXiv · Computation and Language· Zhenghao He, Bohan Liu, Guangzhi Xiong, Aidong Zhang·· 7 小时前AI 评分42
LLaDA 与 Dream 上的可靠并行解码方法 RPD
Reliable Parallel Decoding in Masked Diffusion Language Models
AI 导读
掩码扩散语言模型（MDLM）可并行预测多个掩码 token，但同一次前向传播的预测未必可靠。研究提出无训练的 Reliable Parallel Decoding（RPD），按层间预测稳定性与最终置信度选择候选，在累积熵预算下提交可靠预测、推迟上游不确定的预测。在 LLaDA 和 Dream 的数学推理与代码生成基准上，RPD 达到最高解码吞吐量，同时保持或提升准确率。
来源：arXiv · Computation and Language · arxiv.org