arXiv · Statistics Machine Learning· Weiqi Sun, Qianyue Wu, Wenjia Wang, Tianyang Hu·2026-10-12 12:00· 2 小时前AI 评分26

OAL：基于分组二次核的异常值感知注意力线性化

Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels

AI 导读

论文提出异常值感知注意力线性化方法 OAL，用 Hadamard 积形式显式建模 query-key 贡献，并按维度贡献尺度分组共享系数、单独处理少数异常维度。