论文：语言模型边际注意力空间中的涌现结构
Get the story
2026年10月5日，arXiv Computation and Language 发布一手论文《语言模型边际注意力空间中的涌现结构》。研究者将60多个大语言模型的post-softmax注意力权重按query位置边缘化，构建token-head「边际注意力空间」。按token轴降维得到跨模型稳健的文本内禀信号，并可理论证明下一token分布相似的模型具有相似的输入-输出Jacobian统计；按head轴降维则形成跨文档保持的模型私有特征。目前未见后续验证或同行评议报道。
Generated from reports · updated 16 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and Language语言模型边际注意力空间中的涌现结构
研究者将 60 多个 LLM 的 post-softmax 注意力权重按 query 位置边缘化，构建 token-head「边际注意力空间」。按 token 轴降维得到跨模型稳健的文本内禀信号，并可理论证明下一 token 分布相似的模型具有相似的输入-输出 Jacobian 统计；按 head 轴降维则形成跨文档保持的模型私有特征。
Heat trend
Current heat 7·Comparable peak 10（Oct 5）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.