跳到正文
热点事件持续更新

提出MASA:稀疏注意力应建模为矩阵近似

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

2026年10月9日,arXiv Computation and Language 发表论文,提出 Matrix Approximation Sparse Attention(MASA)。论文主张稀疏注意力应建模为矩阵近似,而非仅保留注意力矩阵中的大标量或高质量区域。MASA 采用闭式评分,衡量每个稀疏单元对矩阵乘积近似误差的减少量,可作为插件式修正加入现有稀疏注意力框架,无需改动稀疏核或预算。实验在多种稀疏注意力方法、基准和 LLM backbone 上取得一致精度提升。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv · Computation and Language
    稀疏注意力是矩阵近似,而非从数值袋中挑选

    论文提出 Matrix Approximation Sparse Attention(MASA),主张稀疏注意力应建模为矩阵近似,而非仅保留注意力矩阵中的大标量或高质量区域。MASA 用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的减少量,可作为插件式修正加入现有稀疏注意力框架,无需改动稀疏核或预算。实验在多种稀疏注意力方法、基准和 LLM backbone 上取得一致精度提升。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。