Lilian Weng·· 2020-04-07AI 评分18
Transformer 架构演进:从原始模型到增强版本的注意力机制改进
The Transformer Family
AI 导读
summary_zh: 文章系统梳理了 Transformer 架构的演进,重点讨论如何改进 vanilla Transformer 的注意力机制,以提升长期依赖捕捉能力、降低内存与计算开销,并增强 RL 任务求解表现。
来源:Lilian Weng · lilianweng.github.io
The Transformer Family
summary_zh: 文章系统梳理了 Transformer 架构的演进,重点讨论如何改进 vanilla Transformer 的注意力机制,以提升长期依赖捕捉能力、降低内存与计算开销,并增强 RL 任务求解表现。
来源:Lilian Weng · lilianweng.github.io