arXiv · Computation and Language· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 2 小时前AI 评分39
Multi-Stream Attention Residuals（MSAR）
Multi-Stream Attention Residuals
AI 导读
研究者提出 Multi-Stream Attention Residuals（MSAR），将 Attention Residuals（AttnRes）扩展为多头深度注意力，通过多尺度因果卷积获取流多样性，并以轻量自适应混合生成单流层输入。
来源：arXiv · Computation and Language · arxiv.org