arXiv · Statistics Machine Learning· Weiqi Sun, Qianyue Wu, Wenjia Wang, Tianyang Hu·· 3 hr agoAI score26
OAL：基于分组二次核的异常值感知注意力线性化
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
AI brief
论文提出异常值感知注意力线性化方法 OAL，用 Hadamard 积形式显式建模 query-key 贡献，并按维度贡献尺度分组共享系数、单独处理少数异常维度。
Source: arXiv · Statistics Machine Learning · arxiv.org