arXiv cs.AI· Youwei Feng, Yitong Zhang, Yuetong Liu, Jia Li·· 9 天前AI 评分36
仅识别禁止行为不够：ObligationBench 与 ObligationGuard 如何识别智能体未履行的安全义务
Safe Actions Alone Do Not Ensure Safe Agents: Identifying Unfulfilled Obligations with Guard Models
AI 导读
针对 LLM 智能体安全，研究指出仅识别禁止行为并不足够，还需识别"未履行的义务"。在热门安全基准上，56.92% 的 GLM-5.3 轨迹含未履行义务，而含禁止行为的仅 30.00%。
正文 · AI 翻译
摘要：防护模型越来越多地被用于保护基于 LLM 的智能体，主要通过识别智能体被禁止执行的操作来实现。然而，仅识别被禁止的操作不足以确保智能体安全。在本文中，我们认为智能体安全还取决于识别必需但未执行的安全关键操作，我们将其称为义务。我们对一个流行的安全评估基准进行的初步研究表明，56.92% 的 GLM-5.3 轨迹包含未履行的义务，而只有 30.00% 包含被禁止的操作。这一发现揭示了未履行的义务是安全风险的一个主要且此前被忽视的来源。然而，据我们所知，尚无现有基准评估防护模型能否识别这些义务。为填补这一空白，我们推出了 ObligationBench，这是首个用于评估义务识别能力的基准，包含 240 条经专家验证的轨迹，涵盖问题解决、功能开发和终端操作。我们对 14 个代表性模型的评估揭示了显著局限：最高的召回率和精确匹配率分别仅为 48.97% 和 10.00%。为解决这些局限，我们使用 40,000 个合成训练样本开发了 ObligationGuard。ObligationGuard 实现了 57.52% 的召回率和 21.67% 的精确匹配率，在这两项指标上均超越了所有被评估的模型。我们呼吁社区将义务识别纳入未来防护模型的设计和评估中，以提升智能体安全。
| 评论： | 21 页。代码、数据和补充材料：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11773 [cs.AI] |
| （或 arXiv:2610.11773v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11773 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Youwei Feng [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 11:54:04 UTC（1,454 KB）
来源：arXiv cs.AI · arxiv.org