arXiv · Artificial Intelligence· Jianwei Li, Jung-Eun Kim·· 3 小时前AI 评分40
LoRA 微调 LLM 的后门净化:基于零空间投影的方法
Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection
AI 导读
该方法在无需触发词先验、清洁参考或事后重训练的前提下,对 LoRA 微调的 LLM 进行后门净化。通过逐层构建输入输出通道的正交零空间,将 LoRA 更新投影到零空间上,将攻击成功率从近 100% 降至 10% 以下,同时保持基座模型性能与适配器下游任务能力。
来源:arXiv · Artificial Intelligence · arxiv.org