热点事件持续更新
提出MASA:稀疏注意力应建模为矩阵近似
1 篇报道1 个报道来源2 小时前 更新
先了解这件事
AI 综述
2026年10月9日,arXiv Computation and Language 发表论文,提出 Matrix Approximation Sparse Attention(MASA)。论文主张稀疏注意力应建模为矩阵近似,而非仅保留注意力矩阵中的大标量或高质量区域。MASA 采用闭式评分,衡量每个稀疏单元对矩阵乘积近似误差的减少量,可作为插件式修正加入现有稀疏注意力框架,无需改动稀疏核或预算。实验在多种稀疏注意力方法、基准和 LLM backbone 上取得一致精度提升。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
arXiv 论文提出 MASA,将稀疏注意力建模为矩阵近似并报告一致精度提升。报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv · Computation and Language稀疏注意力是矩阵近似,而非从数值袋中挑选
论文提出 Matrix Approximation Sparse Attention(MASA),主张稀疏注意力应建模为矩阵近似,而非仅保留注意力矩阵中的大标量或高质量区域。MASA 用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的减少量,可作为插件式修正加入现有稀疏注意力框架,无需改动稀疏核或预算。实验在多种稀疏注意力方法、基准和 LLM backbone 上取得一致精度提升。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。