arXiv cs.AI· Zhaoxin Wang, Zihang Ding, Handing Wang·· 13 小时前AI 评分29
SAFT：仅更新约 5% 参数的稀疏对抗微调方法
Sparse Fine-Tuning for Parameter-Efficient Adversarial Training
AI 导读
研究者提出稀疏对抗微调 SAFT，通过对抗梯度显著性识别出鲁棒性关键参数（RCPs），仅更新这些参数并冻结其余部分。在多种架构和数据集上，SAFT 以更少可训练参数在干净与鲁棒准确率上均优于基于 LoRA 的方法，仅更新约 5% 参数即可接近或超过全参数对抗训练。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：深度神经网络在许多任务上取得了强劲的性能，但仍然容易受到对抗性扰动的影响。对抗训练（AT）是最有效的防御方法之一，但它在大型模型上存在较高的内存开销，并且始终面临干净准确率与鲁棒准确率之间的权衡。近期工作将参数高效微调（如 LoRA）引入 AT，但这种约束相对于全参数 AT 造成了明显的鲁棒性差距。在本工作中，我们从参数空间的角度重新审视参数高效对抗微调。通过梯度分析，我们发现对抗优化高度集中在少数参数上，我们将其称为鲁棒性关键参数（RCPs），这表明鲁棒性被编码在一个稀疏子空间中。基于这一观察，我们提出了稀疏对抗微调（SAFT），它通过对抗梯度显著性识别 RCPs，并通过仅更新这些参数而冻结其余参数来执行 AT。在不同架构和数据集上，SAFT 以更少的可训练参数在干净准确率和鲁棒准确率上均优于基于 LoRA 的方法，并且在仅更新约 5\% 参数的情况下，其鲁棒性接近或超过全参数 AT。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39455 [cs.LG] |
| （或 arXiv:2610.39455v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39455 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhaoxin Wang Wang [查看电子邮件]
[v1]
2026年10月29日星期四 06:27:35 UTC（134 KB）
来源：arXiv cs.AI · arxiv.org