Skip to content
Original
arXiv · Computation and Language· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 3 hr agoAI score39

Multi-Stream Attention Residuals（MSAR）

Multi-Stream Attention Residuals

AI brief

研究者提出 Multi-Stream Attention Residuals（MSAR），将 Attention Residuals（AttnRes）扩展为多头深度注意力，通过多尺度因果卷积获取流多样性，并以轻量自适应混合生成单流层输入。

Source: arXiv · Computation and Language · arxiv.org

#论文/研究#推理