arXiv · Machine Learning Theory· Justin Jung·· 3 小时前AI 评分28
Noise Your Prompt：在连续扩散语言模型中对条件 token 加噪
Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models
AI 导读
一项研究提出在连续扩散语言模型训练中对条件提示词 token 同样加噪，而非保持干净。该方法在 Sudoku Hard 上把求解率从 3.73% 提升到 24.65%，在 10x10 N-Queens 上把覆盖率从 50.60% 提升到 73.79%，并在 Gigaword 摘要任务上改善生成质量，但未迁移到开放式对话生成。改动仅需在训练目标中加一行，默认不增加推理成本，代码已公开。
来源：arXiv · Machine Learning Theory · arxiv.org