arXiv · Machine Learning Theory· Wei Zhai, Xiang Liu, Qiang Huang, Rui Qian, Lemao Liu, Ziwei Li, Ziqi Wang, Zhitao Huang, Dejing Dou·· 3 小时前AI 评分32
Nullify：面向免训练 LLM 遗忘的零空间激活引导方法
Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning
AI 导读
Nullify 是一种免训练、非破坏性的 LLM 遗忘激活引导方法，在推理阶段用引导向量把隐私相关激活从记忆答案上重定向，同时满足零空间约束，使保留查询的激活基本不受影响。在 TOFU 和 MUSE 评测上，Nullify 的遗忘质量达到或超过既有基线，并近乎无损地保持模型效用；由于完全不做权重更新，它可作为高效、即插即用的推理时干预框架。
来源：arXiv · Machine Learning Theory · arxiv.org