arXiv cs.AI· Kshitij Mishra, Abhijith Sharma, Nils Lukas, Salem Lahlou·· 2 天前AI 评分41
PROBE：让 LLM 智能体学会审计工具调用中的策略合规
PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
AI 导读
PROBE（Policy Rule Observation via Behavioral Exploration）是一种训练 LLM 审计器的算法，让审计器以真实用户身份与已部署智能体进行多轮、工具介导的对话，主动探测策略违规。
正文 · AI 翻译
摘要：现代智能体系统通过外部工具扩展语言模型，使其能够通过多轮交互完成复杂任务。当这些智能体被部署在具有重要影响的场景中时，它们往往受到管理定价、隐私、确认、安全及其他要求的策略约束。然而，现有评估方法留下了一个关键空白：能力基准衡量智能体能完成什么，内容安全红队测试衡量有害生成，但两者都没有测试智能体在原本有效的工具使用过程中是否遵守预定义策略。此类策略违规难以审计，因为其影响可能仅在数轮之后才出现、跨越多次工具调用，或在下游系统中浮现。我们提出 PROBE（Policy Rule Observation via Behavioral Exploration，基于行为探索的策略规则观察），一种用于训练基于 LLM 的审计器的算法，该审计器以真实用户身份与已部署智能体交互，并通过多轮、工具介导的对话探查其策略违规行为。我们将智能体审计形式化为一个双人马尔可夫博弈，并提出一种复合奖励，在违规发现、行为合理性、对话进展和策略多样性之间取得平衡。为研究训练目标和奖励设计，我们在受控环境中比较了 GRPO、DPO 和基于 GFlowNet 的优化。在大量实验中，使用 PROBE 训练的审计器发现的策略违规范围显著更广、产出更高，即使审计器比目标智能体小得多，也优于同架构的零样本对抗者。我们的结果表明，多轮行为审计是智能体评估中一个独特且必要的维度，可与能力基准和安全基准互补。PROBE 为现实世界智能体系统的自动化策略审计提供了一条可扩展路径，并暗示了一个共同演化循环：审计器暴露失败，智能体则从审计器反馈中改进。
| Comments: | 27 pages, NeurIPS 2026 |
| Subjects: | Artificial Intelligence (cs.AI) |
| Cite as: | arXiv:2610.22124 [cs.AI] |
| (or arXiv:2610.22124v1 [cs.AI] for this version) | |
| https://doi.org/10.48550/arXiv.2610.22124 arXiv-issued DOI via DataCite (pending registration) |
Submission history
From: Abhijith Sharma [view email]
[v1]
Thu, 15 Oct 2026 16:01:38 UTC (454 KB)
来源：arXiv cs.AI · arxiv.org