Lilian Weng·· 2018-06-24AI 评分15
Attention?Attention!
Attention? Attention!
AI 导读
summary_zh: 注意力机制源于人类视觉注意与词间关联的类比,用重要性权重向量对其它元素加权求和来近似预测目标。Seq2Seq 固定长度上下文向量难以记住长句,注意力通过源端与目标端之间的可学习捷径连接解决该问题。
来源:Lilian Weng · lilianweng.github.io
Attention? Attention!
summary_zh: 注意力机制源于人类视觉注意与词间关联的类比,用重要性权重向量对其它元素加权求和来近似预测目标。Seq2Seq 固定长度上下文向量难以记住长句,注意力通过源端与目标端之间的可学习捷径连接解决该问题。
来源:Lilian Weng · lilianweng.github.io