arXiv cs.AI· Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky·· 3 天前AI 评分62
研究：恶意微调防御在持续训练下为何失效
A Few Steps Further: Why Defenses Against Malicious Finetuning Erode Under Continued Training
AI 导读
arXiv 论文调查了15种针对恶意微调的防御方法，发现它们都建立在有限攻击者模型之上，权重发布后缺乏持续约束。作者在4个开源权重模型上对6种代表性防御继续执行仅有害数据的微调攻击3个epoch，72次受防御训练中模型最终危害性均高于发布时，Llama-3.1 在最高学习率下受防御模型最终危害性接近无防御模型。
正文 · AI 翻译
摘要：模型提供方越来越多地发布大语言模型的权重。尽管这些模型在发布前经过了安全对齐，但其防护措施往往可以通过在有害数据上进行微调而被移除。一类日益增多的防御方法旨在使对齐对此类恶意微调具有鲁棒性，但这些防御通常是在固定训练预算下针对攻击进行评估的，而持有权重的攻击者只需训练更长时间即可。我们探究当前的防御能否抵御这种最简单的升级攻击。通过调查十五种近期防御方法，我们发现它们有一个共同的弱点：每一种都建立在有限的攻击者模型之上，例如有界扰动、短时模拟攻击，或有害行为与良性行为之间训练出的关联，而一旦权重被发布，就没有任何机制能维持这种保护。随后，我们在四个开放权重模型上测试了六种代表性防御，方法是将同样的仅有害微调攻击持续三个 epoch，并在此过程中测量有害性和能力。在所有 72 次带防御的训练运行中，模型在训练结束时的有害性都高于发布时；在 Llama-3.1 上，当学习率最高时，带防御的模型最终的有害性几乎与无防御模型相当。这些防御的薄弱程度并不相同：有一种防御在一个模型上将有害性保持在较低水平，而有些攻击只有在牺牲通用能力的情况下才能恢复有害性。当前的防御可以延迟或干扰恶意微调，但在大多数情况下，其测得的抵抗力在持续训练下无法维持，因此尚不应被视为持久保护。
| 评论： | 之前的标题是：“One Step to the Side: Why Defenses Against Malicious Finetuning Fail Under Adaptive Adversaries” |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.14605 [cs.CR] |
| （或 arXiv:2605.14605v4 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.14605 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Itay Zloczower [查看电子邮件]
[v1]
2026年5月14日星期四 09:22:14 UTC（199 KB）
[v2]
2026年5月24日星期日 08:34:13 UTC（199 KB）
[v3]
2026年10月7日星期三 16:55:56 UTC（265 KB）
[v4]
2026年10月11日星期日 08:18:48 UTC（265 KB）
来源：arXiv cs.AI · arxiv.org