arXiv cs.AI· Yujun Wang, Yilun Liu, Jinhe Bi, Krishna Kanth Nakka, Xuebing Zhou, Hinrich Sch{\"u}tze, Yunpu Ma·· 4 小时前AI 评分48
Evolution Under Fire:用自适应注入压力器进化智能体安全护栏
Evolution Under Fire: Evolving Agent Safety Harnesses with Adaptive Injection Stressors
AI 导读
研究提出 Evolution Under Fire 分阶段框架,将安全护栏进化与自适应压力器进化耦合,通过效用约束的 Pareto 调度树搜索从执行证据中进化出完整可执行护栏。
正文 · AI 翻译
摘要:使用工具的语言模型智能体必须依据来自不可信电子邮件、网页和文档的信息采取行动。这带来一个核心安全挑战:恶意指令和合法任务指令可能通过同一交互通道到达。现有防御措施在很大程度上是手工设计和静态的,因此进一步改进依赖于反复的人工重新设计。我们提出 Evolution Under Fire,这是一个将安全框架演化与自适应压力源演化相结合的分阶段框架。受效用约束、按帕累托调度的树搜索从执行证据中演化出完整的可执行安全框架,同时保持任务模型、基准、工具和评估器固定不变。随后,自适应压力源演化会发现保持效用的攻击,用以指导后续阶段的安全框架演化。在 AgentDyn 上使用 GPT-4o-mini 时,演化后的安全框架将攻击成功率从 50.4% 降至 3.0%,在干净任务和受攻击任务上的效用均优于初始安全框架,并且相比复现的防御方法提供了更强的安全-效用权衡。在 Agent-SafetyBench 上使用 Qwen2.5-7B-Instruct 时,安全框架演化将攻击成功率从 82.6% 降至 62.0%,同时保持有用性和运行时有效性。演化后的安全框架还能在无需进一步演化的情况下迁移到 Qwen3.5-35B-A3B,将攻击成功率从 32.1% 降至 0.9%,同时提高受攻击任务的效用。
| 学科: | 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22583 [cs.CR] |
| (或 arXiv:2611.22583v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22583 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yujun Wang [查看电子邮件]
[v1]
2026年11月17日星期二 11:07:31 UTC(992 KB)
来源:arXiv cs.AI · arxiv.org