arXiv cs.AI· Sizhe Chen, Yibo Peng, Jaewon Chang, Chawin Sitawarin, David Wagner·· 10 小时前AI 评分58
SecPO：面向提示注入安全的原则化对抗训练方法
SecPO: Principled Adversarial Training for Prompt Injection Security
AI 导读
研究者提出 SecPO 损失，并配合对抗训练流程，用于防御 AI 智能体的提示注入攻击。相比 Meta-SecAlign，该方法在三种 SoTA 自适应攻击下将攻击成功率降低 1.5-14.5 倍；相比使用 DPO 损失，SecPO 损失进一步降低 2.4-4.6 倍。
正文 · AI 翻译
摘要：提示注入被公认为 AI 智能体的头号威胁，它允许来自不可信数据（电子邮件、文档、网站）的指令操纵智能体的运行。现有防御最强的 LLM——Meta-SecAlign——使用 DPO 损失训练，但在自适应提示注入下，其攻击成功率（ASR）仍接近 100%。原因之一是 DPO 将模型锚定在未防御的参考模型周围，而该参考模型并不安全。我们证明，一个理想化的参考模型——一个对注入不变、保持效用的 oracle——仍然可以被近似，因为其在训练中的输出分布有趣地是可访问的。这一新观察促成了一个有理论依据的 SecPO 损失。Meta-SecAlign 的另一个缺点是它是在弱模拟攻击上训练的。我们实现了一个高效的对抗训练（AT）流水线，合成强注入输入（best@240），并在这些输入上训练模型。与 Meta-SecAlign 相比，我们的 AT 在三种 SoTA 自适应攻击上将 ASR 降低了 1.5-14.5$\times$；与使用 DPO 损失相比，SecPO 损失进一步将其降低了 2.4-4.6$\times$。在智能体工作流中，我们的 SecPO + AT Qwen3.6-27B 比 Meta-SecAlign 安全得多：在 AttackerMovesSecond 攻击下，AgentDojo ASR@800 为 8.8% 对 78.8%。此外，我们防御后的模型在涵盖智能体工具调用、指令遵循、科学和数学的九个基准测试中，良性效用没有明显下降。我们发布了 $\href{//github.com/Sizhe-Chen/SecPO}{\text{代码}}$、$\href{//huggingface.co/datasets/Sizhe-Chen/Qwen3.6-27B-Instruct-SecPO-trainset}{\text{训练数据}}$（包含来自 AT 的优化注入）以及 $\href{//huggingface.co/Sizhe-Chen/Qwen3.6-27B-Instruct-SecPO}{\text{模型}}$。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41998 [cs.CR] |
| （或 arXiv:2610.41998v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41998 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sizhe Chen [查看电子邮件]
[v1]
2026年10月30日星期五 16:43:17 UTC（379 KB）
来源：arXiv cs.AI · arxiv.org