arXiv cs.AI· Gal Wertheizer, Rom Himelstein, Tomer Peretz, Avi Mendelson·· 11 小时前AI 评分39
AnchorRep：用表征排斥防御 LLM 跨模型对抗迁移攻击
AnchorRep: Defending LLMs Against Cross-Model Adversarial Transfer via Representation Repulsion
AI 导读
AnchorRep 通过轻量 LoRA 适配器将受防御模型对有害提示词的内部表征推离冻结锚点模型的表征，在五个模型、四个架构家族上将跨模型攻击成功率降至 1.1%。该方法仅用少量有害提示词训练、无需对抗样本，而现有防御要么导致高达 77% 的良性输出退化，要么使过度拒答率上升最多 18%。团队同时提出 Benign Garble Rate 指标以量化标准拒答指标无法捕捉的良性输出退化。
正文 · AI 翻译
摘要：在单个开放权重 LLM 上优化的对抗攻击可以迁移到架构不同的模型并对其越狱，使拥有某个模型白盒访问权限的攻击者能够攻陷独立部署的系统。这在模型之间造成了共享漏洞，但现有防御并非针对这种跨模型威胁而设计。我们发现跨模型迁移与共享的内部表示几何结构相一致，使其成为天然的防御目标。AnchorRep 直接针对这一几何结构，使用轻量级 LoRA 适配器，将受防御模型对有害提示的内部表示推离同一提示下冻结锚点模型的表示。训练使用少量有害提示，不使用对抗样本。在五个模型和四个架构家族上，AnchorRep 将 2,000 次迁移攻击的跨模型攻击成功率降至 <=1.1%（其中两个模型为 0%），包括在 Mistral 上的最大降幅（36% -> 1.1%）。现有防御可以减少迁移，但代价高昂：要么导致高达 77% 的退化良性输出，要么使过度拒绝增加高达 18%。由于此类退化良性输出未被标准的基于拒绝的指标捕获，我们引入良性乱码率来量化它们。我们的结果表明，跨模型鲁棒性可以通过塑造表示几何结构来实现，而无需针对特定攻击进行训练
| 评论： | NeurIPS 2026；代码、配置和日志：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.32602 [cs.LG] |
| （或此版本的 arXiv:2609.32602v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.32602 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gal Wertheizer [查看电子邮件]
[v1]
2026年9月26日星期六 13:19:52 UTC（142 KB）
[v2]
2026年11月4日星期三 16:58:49 UTC（146 KB）
来源：arXiv cs.AI · arxiv.org