AgentPolicyForge：构建策略基准并训练守卫

Chao Shang 等作者提出 AgentPolicyForge 框架，用可执行环境构建策略基准并迭代训练策略守卫模型，据此构建的 PolicyGym 覆盖十类策略，含 698 个训练场景与 254 个独立留出场景。 该框架指出，每个违规用例都只使用被允许的工具，因此判断是否违规需检查参数、资源与上下文，而非仅凭工具身份。 作者称，基于守卫模型的配置在 PolicyGym 上将攻击成功率相对降低 40-44%，且良性拒绝少于仅用策略提示词。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。