arXiv · Artificial Intelligence· Zixuan Weng, Haoqi He, Weifei Jin, Yue Huang, Yang Bai·· 3 hr agoAI score49
Attention Sees, MLP Refuses：追踪 LLM 中从 Attention 到 MLP 的安全通路
Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs
AI brief
研究在 18 对 Base-Instruct 模型（覆盖 Qwen、Llama、Gemma）的残差流更新中发现，harmfulness 信息更易从 attention 更新（尤其是浅层）解码。
Source: arXiv · Artificial Intelligence · arxiv.org