arXiv · Computation and Language· Fang Wan, Xufeng Liu, Fan Li, Yi Liu·· 3 小时前AI 评分28
稀疏注意力是矩阵近似，而非从数值袋中挑选
Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
AI 导读
论文提出 Matrix Approximation Sparse Attention（MASA），主张稀疏注意力应建模为矩阵近似，而非仅保留注意力矩阵中的大标量或高质量区域。MASA 用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的减少量，可作为插件式修正加入现有稀疏注意力框架，无需改动稀疏核或预算。实验在多种稀疏注意力方法、基准和 LLM backbone 上取得一致精度提升。
来源：arXiv · Computation and Language · arxiv.org