跳到正文
原文
Lilian Weng·· 2018-06-24AI 评分15

Attention?Attention!

Attention? Attention!

AI 导读

summary_zh: 注意力机制源于人类视觉注意与词间关联的类比,用重要性权重向量对其它元素加权求和来近似预测目标。Seq2Seq 固定长度上下文向量难以记住长句,注意力通过源端与目标端之间的可学习捷径连接解决该问题。

来源:Lilian Weng · lilianweng.github.io