arXiv · Statistics Machine Learning· Paul Le Van Kiem, Dario Shariatian, Umut Simsekli, Alain Durmus·· 3 小时前AI 评分36
连续扩散语言模型的分布匹配蒸馏方法
Distribution Matching Distillation for Continuous Diffusion Language Models
AI 导读
论文提出 Simplex-DMD 与 Reinforce-DMD 两种分布匹配蒸馏方法，在 OpenWebText 上对 1,024 token 序列进行实验。Simplex-DMD 在 4 NFEs 下达到生成困惑度 45.6、单字熵 5.44 nats，相比最强扩散基线降低 49%；Reinforce-DMD 在 256 NFEs 下达到困惑度 14.9、熵 5.00 nats，降低 20%。
来源：arXiv · Statistics Machine Learning · arxiv.org