arXiv cs.AI· Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He·· 13 小时前AI 评分34
RePolicy：让 AI 智能体安全防护学会选择并应用安全策略
RePolicy: Learning to Select and Apply Safety Policies for Agent Safeguards
AI 导读
RePolicy 是一种联合学习策略选择与安全评估的智能体安全防护方案，可根据智能体轨迹从候选策略中选出最匹配的一项并判断行为是否安全。研究团队构建了含超 2 万条智能体轨迹的 PolicyTraj-20K 数据集，采用监督示范加强化学习训练，并通过随机化策略顺序、标识符和干扰项减少捷径学习。
正文 · AI 翻译
摘要：Agent 防护机制必须判断 agent 的行为是否违反当前任务、环境和用户的安全规则。由于这些规则因上下文而异，防护机制在判断行为之前需要选择相关策略。现有的策略感知防护机制可以应用所提供的策略，但通常假设正确的策略已知。因此，它们不会学习如何从策略库中选择策略，尽管错误的选择可能导致错误的安全判断。我们提出 RePolicy，一种联合学习策略选择和安全评估的防护机制。给定 agent 轨迹和一组候选策略，RePolicy 选择最符合情境的策略，应用其要求，并预测行为是否安全。我们构建了 PolicyTraj-20K，一个包含超过 20,000 条 agent 轨迹的数据集，标注了适用策略、安全标签和解释。我们通过监督演示和随后的强化学习训练 RePolicy，同时随机化策略顺序、标识符和干扰项，以减少捷径学习。在六个 agent 安全基准和 19 个基线上，RePolicy-4B 取得了领先的整体安全检测性能，并提高了策略选择准确率。这些结果表明，防护机制可以学习使用哪些安全要求来评估 agent 行为。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.24275 [cs.AI] |
| （或 arXiv:2608.24275v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.24275 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Houcheng Jiang [查看电子邮件]
[v1]
2026年8月25日星期二 09:01:33 UTC（4,146 KB）
[v2]
2026年8月27日星期四 06:48:15 UTC（4,145 KB）
[v3]
2026年10月29日星期四 10:16:40 UTC（2,681 KB）
来源：arXiv cs.AI · arxiv.org