潜结构因果影响三因素:容量、响应性与对齐
Get the story
2026年10月7日,arXiv Computation and Language 发表一手研究《容量、响应性与对齐:什么让潜在结构具备因果可操作性》。研究将语言模型潜在结构的因果影响分解为容量、响应性与对齐三个因素,并在4个语言模型族与50个概念上验证三者需同时处于高水平。研究发现,低容量与低响应性分别使因果效果降低84%与95%;低对齐则可能反转并抑制概念表达,且因果方向随上下文形成低维子空间。基于该子空间训练的 causal probes 在多个模型上提升17%—118%的 steering 效果,概念检测仅下降3%。目前未见后续验证或争议报道。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and Language容量、响应性与对齐:什么让潜在结构具备因果可操作性
研究将语言模型潜在结构的因果影响分解为容量、响应性与对齐三因素,在 4 个 LM 族与 50 个概念上验证三者需同时为高。低容量与低响应性分别使因果效果降低 84% 与 95%,低对齐则可能反转并抑制概念表达,且因果方向随上下文形成低维子空间。基于该子空间训练的 causal probes 在多个模型上提升 17%-118% 的 steering 效果,概念检测仅下降 3%。
Heat trend
Current heat 9·Comparable peak 10(Oct 7)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.