跳到正文
热点事件持续更新

DDT-RFE:去除残差连接的解耦扩散Transformer

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

研究者提出 DDT-RFE,针对 Decoupled Diffusion Transformer(DDT)编码器块的结构进行改进。该方法移除了 Self-Attention 与 MLP 周围的残差连接,并将输入 patch embedding 与中间及最终编码器特征融合,使解码器能够获得多层信息。论文发表于 arXiv(Machine Learning Theory),目前仅见方法提出,暂无实验结果或对比数据报道。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv · Machine Learning Theory
    DDT-RFE:是否应跳过 Diffusion 模型中的残差连接

    研究者提出 DDT-RFE,移除 Decoupled Diffusion Transformer(DDT)编码器块中 Self-Attention 与 MLP 周围的残差连接,并将输入 patch embedding 与中间及最终编码器特征融合,使解码器获得多层信息。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。