arXiv · Machine Learning Theory· Yiping Ji, James Martens, Simon Lucey·· 3 小时前AI 评分28
DDT-RFE:是否应跳过 Diffusion 模型中的残差连接
Should We Skip Diffusion?
AI 导读
研究者提出 DDT-RFE,移除 Decoupled Diffusion Transformer(DDT)编码器块中 Self-Attention 与 MLP 周围的残差连接,并将输入 patch embedding 与中间及最终编码器特征融合,使解码器获得多层信息。
来源:arXiv · Machine Learning Theory · arxiv.org