arXiv · Statistics Machine Learning· Jingda Wu, Changxiao Cai·· 3 hr agoAI score21
基于 Transformer 的掩码扩散模型可证明地学习具有潜在结构的分布
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
AI brief
该研究为基于 Transformer 的掩码扩散模型（MDMs）建立端到端统计保证，证明其在由隐马尔可夫树混合刻画的潜在结构分布上，样本复杂度由潜在结构决定。MDMs 通过掩码预测器并行迭代去掩码生成离散数据，输出含并行采样误差与有限样本估计误差；现有理论的界通常随长度-$L$ 序列数 $V^L$ 增长，受维度灾难影响。
Source: arXiv · Statistics Machine Learning · arxiv.org