Transformer 拒答机制的组件与维度稀疏性研究
Get the story
2026年10月7日，arXiv Computation and Language 发布一手研究《Transformer 拒答机制中的组件与维度稀疏性》。该研究将拒答 steering 分解为组件级干预，在四个开源模型上定位到足以复现完整行为效果的稀疏注意力与 MLP 组件子集。结果显示，拒答方向集中在占上游组件 28–48% 的稀疏机制中，保留 88–101% 的 steering 效果；机制内部又集中在约 50% 的残差流维度，保留 85–98% 的基线。代码与原始实验结果已公开。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and LanguageTransformer 拒答机制中的组件与维度稀疏性
研究将拒答 steering 分解为组件级干预，在四个开源模型上定位到足以复现完整行为效果的稀疏注意力与 MLP 组件子集。拒答方向集中在占上游组件 28–48% 的稀疏机制中，保留 88–101% 的 steering 效果；机制内部又集中在约 50% 的残差流维度，保留 85–98% 的基线。代码与原始实验结果已公开。
Heat trend
Current heat 9·Comparable peak 10（Oct 7）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.