跳到正文
原文
arXiv · Machine Learning Theory· Yiping Ji, James Martens, Simon Lucey·· 3 小时前AI 评分28

DDT-RFE:是否应跳过 Diffusion 模型中的残差连接

Should We Skip Diffusion?

AI 导读

研究者提出 DDT-RFE,移除 Decoupled Diffusion Transformer(DDT)编码器块中 Self-Attention 与 MLP 周围的残差连接,并将输入 patch embedding 与中间及最终编码器特征融合,使解码器获得多层信息。

来源:arXiv · Machine Learning Theory · arxiv.org