多头自注意力的高斯等价性

研究者用随机矩阵理论建立多头自注意力的 Gaussian equivalence：以重标定分数加高斯噪声替换 softmax attention 后，中心化输出的极限谱律保持不变。该等价性同样覆盖依赖 keys 的 value 与 output projections。所得定律分离了 head 分配与投影宽度的影响，并区分跨 head 共享与 head 内 key–value 依赖对谱的不同作用。