跳到正文
原文
arXiv · Artificial Intelligence· Jianwei Li, Jung-Eun Kim·· 3 小时前AI 评分40

LoRA 微调 LLM 的后门净化:基于零空间投影的方法

Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection

AI 导读

该方法在无需触发词先验、清洁参考或事后重训练的前提下,对 LoRA 微调的 LLM 进行后门净化。通过逐层构建输入输出通道的正交零空间,将 LoRA 更新投影到零空间上,将攻击成功率从近 100% 降至 10% 以下,同时保持基座模型性能与适配器下游任务能力。

来源:arXiv · Artificial Intelligence · arxiv.org