Skip to content
Hot eventLive

多头自注意力高斯等价性研究

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月8日，arXiv 统计学机器学习栏目发表关于多头自注意力高斯等价性的研究。研究者运用随机矩阵理论，建立多头自注意力的 Gaussian equivalence：以重标定分数加高斯噪声替换 softmax attention 后，中心化输出的极限谱律保持不变。该等价性同样覆盖依赖 keys 的 value 与 output projections。所得定律分离了 head 分配与投影宽度的影响，并区分跨 head 共享与 head 内 key–value 依赖对谱的不同作用。目前该成果为理论分析，尚未见后续验证或应用报道。

Generated from reports · updated 3 hr ago

LatestOct 8
arXiv 发表多头自注意力高斯等价性研究，替换 softmax 后极限谱律不变。

Timeline

Follow the coverage from different angles.

Oct 8, 2026
  1. arXiv · Statistics Machine Learning
    多头自注意力的高斯等价性

    研究者用随机矩阵理论建立多头自注意力的 Gaussian equivalence：以重标定分数加高斯噪声替换 softmax attention 后，中心化输出的极限谱律保持不变。该等价性同样覆盖依赖 keys 的 value 与 output projections。所得定律分离了 head 分配与投影宽度的影响，并区分跨 head 共享与 head 内 key–value 依赖对谱的不同作用。

Heat trend

Current heat 9·Comparable peak 10（Oct 8）·Comparable change over 24 hours –

02.557.510Oct8Oct8Oct8Oct8

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.