arXiv cs.AI· Yunhao Feng, Yifan Ding, Yuxiang Xie, Zheng Li, Mingrui Lao, Zeyuan Wang, Yanming Guo·· 12 小时前AI 评分38
AdaGuard：支持用户自定义策略的自适应防护模型
AdaGuard: An Adaptive Guard Model with User-defined Policies
AI 导读
研究团队提出 AdaGuard 系列防护模型（0.6B、4B、8B），可在推理时按用户自定义策略评估语言模型智能体的行为轨迹。配套发布 AdaptiveSafety 数据集，含 10,939 条训练样本和 1,000 条测试样本，覆盖 1–100 条规则。4B 模型在 AdaptiveSafety 上二分类准确率达 89.30%，在 DynaBench 上为 71.82%。
正文 · AI 翻译
摘要：防护模型支持语言模型智能体的安全部署，但固定的风险分类体系限制了其适应不同应用和任务需求的能力。在用户自定义策略下，检测违规需要同时解读适用规则和智能体行为，因为相同的行为在不同策略下可能得到不同判定。为支持学习这一能力，我们推出了 AdaptiveSafety，这是一个包含 10,939 个训练样本和 1,000 个测试样本的数据集，覆盖含 1--100 条规则的策略。该数据集将来自多个来源的轨迹与策略和行为反事实相结合，为每个样本配以解释和完整的违规规则集合。这些反事实揭示了会改变合规性的变化，而结构化增强则为规则重排序和标识符重映射下的一致性提供了监督。基于这一监督，我们提出了 SafePO，一种强化学习算法，用于在平衡解释性推理和最终裁决的同时改进违规识别。SafePO 使用结构化奖励评估预测正确性，在响应层面保留组相对优势，并采用单独训练的价值模型来调节解释区域和裁决区域内 token 的权重。独立的归一化控制二者在长度不同的情况下对训练的贡献比例。通过监督初始化后接 SafePO，我们开发了 AdaGuard，这是一个包含 0.6B、4B 和 8B 的防护模型系列，可在推理时根据提供的策略评估智能体轨迹。我们的 4B 模型在 AdaptiveSafety 上达到 89.30\% 的二分类准确率，在 DynaBench 上达到 71.82\%。项目仓库见 此 https URL
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.34241 [cs.AI] |
| （或 arXiv:2609.34241v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.34241 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yunhao Feng [查看邮箱]
[v1]
2026年9月28日 星期一 03:48:12 UTC（484 KB）
[v2]
2026年10月21日 星期三 09:34:41 UTC（484 KB）
来源：arXiv cs.AI · arxiv.org