跳到正文
原文
Lilian Weng·· 2023-01-27AI 评分18

Transformer 架构演进综述(The Transformer Family Version 2.0)

The Transformer Family Version 2.0

AI 导读

Lilian Weng 重构并扩充了 2020 年的 Transformer 家族综述文章,Version 2.0 是旧版超集,长度约两倍。文章系统梳理了 Transformer 基础结构、注意力机制、多头自注意力及编码器-解码器架构等核心组件的演进与变体。

来源:Lilian Weng · lilianweng.github.io