arXiv cs.AI· Chao Shang, Wanyu Du, Yi Zhang, Sandesh Swamy·· 12 小时前AI 评分35
AgentPolicyForge：从可执行环境到策略基准与自适应防护
AgentPolicyForge: From Executable Environments to Policy Benchmarks and Adaptive Guards
AI 导读
AgentPolicyForge 框架利用可执行环境构建策略基准并迭代训练策略防护模型，据此构建的 PolicyGym 覆盖十类策略，含 698 个训练场景与 254 个独立留出场景。每个违规用例均使用被允许的工具，需检查参数、资源与上下文而非仅凭工具身份判断。最终基于防护模型的配置在 PolicyGym 上将攻击成功率相对降低 40-44%，且良性拒绝少于仅用策略提示词。
正文 · AI 翻译
摘要：定制化智能体部署会针对工具、资源和执行条件定义策略。在任务智能体的提示中提供这些策略并不能可靠地防止违规。训练一个防护器需要符合或违反这些策略的工具调用示例。我们推出 AgentPolicyForge，这是一个利用可执行环境构建策略基准并迭代训练策略防护器的框架。借助该框架，我们构建了 PolicyGym，这是一个涵盖十个策略族的数据集，使用 698 个场景生成训练数据，并使用 254 个独立的留出场景构建经人工审核的测试集。工具调用会被执行并记录其结果，以帮助判断它们是否符合策略。每个违规案例都使用被允许的工具，因此需要检查参数、资源和上下文，而不能仅凭工具身份判断。案例构建过程支持迭代式防护器训练：攻击者使用检索到的策略生成请求，防护器则在均衡的、经环境验证的示例上进行微调。即使使用固定的存档，训练也能改善策略执行。与保持存档固定相比，更新存档进一步降低了域内攻击成功率。我们将具备策略感知能力的任务智能体自我调节与训练好的策略防护器进行了比较。在 PolicyGym 上，最终基于防护器的配置实现了攻击成功率 40-44% 的相对降低，并且与仅使用策略提示相比，良性拒绝更少。
| 评论： | 20 页，2 幅图 |
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28989 [cs.AI] |
| （或 arXiv:2610.28989v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28989 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chao Shang [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 23:31:32 UTC（1,042 KB）
来源：arXiv cs.AI · arxiv.org