arXiv · Artificial Intelligence· Adam Elimadi·2026-09-30 12:00· 5 小时前AI 评分50

Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training

AI 导读

研究从同一 GPT-2 Small 预训练检查点出发，对比标准与对抗性持续训练后的因果电路规模。在 85% 忠实度以下标准模型电路更小，但在 90%、95% 高忠实度下鲁棒模型需要更少的边。鲁棒模型也更易被 SAE 分解且任务归因涉及更少 SAE 特征。