arXiv · Artificial Intelligence· Zixuan Weng, Haoqi He, Weifei Jin, Yue Huang, Yang Bai·2026-10-12 12:00· 2 小时前AI 评分49

Attention Sees, MLP Refuses：追踪 LLM 中从 Attention 到 MLP 的安全通路

Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs

AI 导读

研究在 18 对 Base-Instruct 模型（覆盖 Qwen、Llama、Gemma）的残差流更新中发现，harmfulness 信息更易从 attention 更新（尤其是浅层）解码。