多头自注意力高斯等价性研究

2026年10月8日，arXiv 统计学机器学习栏目发表关于多头自注意力高斯等价性的研究。研究者运用随机矩阵理论，建立多头自注意力的 Gaussian equivalence：以重标定分数加高斯噪声替换 softmax attention 后，中心化输出的极限谱律保持不变。该等价性同样覆盖依赖 keys 的 value 与 output projections。所得定律分离了 head 分配与投影宽度的影响，并区分跨 head 共享与 head 内 key–value 依赖对谱的不同作用。目前该成果为理论分析，尚未见后续验证或应用报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。