arXiv cs.AI· Jianwei Li, Jung-Eun Kim·· 11 小时前AI 评分38
无需重训练：用零空间投影净化 LoRA 微调 LLM 的后门
Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection
AI 导读
研究者提出一种零空间投影方法，可在不预知触发器、不访问干净参考模型、也不对可疑参数做事后重训练的前提下净化 LoRA 微调后的 LLM。该方法提取高保真后门方向，在每层或每个注意力头的输入输出通道构造正交零空间并投影 LoRA 更新，将攻击成功率（ASR）从近 100% 降至 10% 以下，同时保留基座模型通用能力与适配器学到的下游技能。该工作入选 NeurIPS 2026。
正文 · AI 翻译
摘要：随着大语言模型（LLM）和参数高效微调（PEFT）方法的快速采用，后门攻击的风险变得更加严重。现有的后门净化方法通常至少依赖以下强假设之一：对触发器的先验知识、访问干净参考数据，或激进的重新训练，并且往往缺乏全面的评估。这些限制严重制约了它们的实际适用性。为克服这些挑战，我们的工作提出在不依赖这些假设、甚至不对可疑参数进行事后重新训练的情况下净化 LoRA 微调的 LLM。我们的目标是显著降低攻击成功率（ASR），同时保留 (i) 基础模型的通用能力和 (ii) 通过适配器学到的新的下游技能。通过一系列考察，我们逐步将方法从文本分类设置中的单层扩展到生成任务中的全参数 LLM。通过精心的数据整理和特征近似，我们提取高保真的后门方向，并为每一层或每个头在输入和输出通道中构建正交零空间，将 LoRA 更新投影到其上。在实证上，我们的零空间投影方法将 ASR 从接近 100% 降低到低于 10%，同时保留基础模型的良性性能和适配器在下游任务适配期间学到的能力。
| 评论： | NeurIPS 2026 |
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.00685 [cs.AI] |
| （或此版本的 arXiv:2610.00685v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.00685 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jung-Eun Kim [查看电子邮件]
[v1]
2026年9月30日星期三 20:28:34 UTC（364 KB）
[v2]
2026年11月4日星期三 18:26:11 UTC（364 KB）
来源：arXiv cs.AI · arxiv.org