语言模型边际注意力空间中的涌现结构

研究者将 60 多个 LLM 的 post-softmax 注意力权重按 query 位置边缘化，构建 token-head「边际注意力空间」。按 token 轴降维得到跨模型稳健的文本内禀信号，并可理论证明下一 token 分布相似的模型具有相似的输入-输出 Jacobian 统计；按 head 轴降维则形成跨文档保持的模型私有特征。