Skip to content
Hot eventLive

Transformer MDMs 学习含隐结构分布的统计保证

1 reports1 sources2 hr ago updated

Get the story

AI overview

2026年10月12日，arXiv Statistics Machine Learning 发布一手研究，为基于 Transformer 的掩码扩散模型（MDMs）建立端到端统计保证。该研究证明，MDMs 在由隐马尔可夫树混合刻画的潜在结构分布上，其样本复杂度由潜在结构决定。MDMs 通过掩码预测器并行迭代去掩码生成离散数据，输出包含并行采样误差与有限样本估计误差。研究同时指出，现有理论的界通常随长度-$L$ 序列数 $V^L$ 增长，受维度灾难影响。

Generated from reports · updated 2 hr ago

LatestOct 12
arXiv 新研究为 Transformer MDMs 建立端到端统计保证，证明其在隐马尔可夫树混合分布上的样本复杂度由潜在结构决定。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Statistics Machine Learning
    基于 Transformer 的掩码扩散模型可证明地学习具有潜在结构的分布

    该研究为基于 Transformer 的掩码扩散模型（MDMs）建立端到端统计保证，证明其在由隐马尔可夫树混合刻画的潜在结构分布上，样本复杂度由潜在结构决定。MDMs 通过掩码预测器并行迭代去掩码生成离散数据，输出含并行采样误差与有限样本估计误差；现有理论的界通常随长度-$L$ 序列数 $V^L$ 增长，受维度灾难影响。

Heat trend

There is not enough continuous observation data to draw a trend yet.