arXiv · Machine Learning Theory· Ryan Solgi, Parsa Madinei, Zheng Zhang·· 3 小时前AI 评分32
Tucker Bottleneck Attention（TuBA）用于多维序列建模
Tucker Bottleneck Attention for Multi-Dimensional Sequence Modeling
AI 导读
论文提出 Tucker bottleneck attention（TuBA），利用低秩张量结构实现高效全局 token 混合，将隐藏张量投影到紧凑 Tucker 核上进行多头自注意力与线性投影，实现亚二次计算。
来源：arXiv · Machine Learning Theory · arxiv.org