arXiv cs.AI· Nils Palumbo, Sarthak Choudhary, Jihye Choi, Guy Amir, Prasad Chalasani, Isil Dillig, Somesh Jha·· 3 天前AI 评分32
面向智能体系统的形式化策略执行方法
Formal Policy Enforcement for Agentic Systems
AI 导读
研究者提出一种基于运行时监控的智能体安全方法，允许用户用 Datalog 指定策略，并通过构建事件图在运行时执行。当智能体即将执行工具调用等动作时，该方法结合当前系统状态与历史事件判断是否违反策略，进而阻止或放行该动作。该方法已实现并在多个 benchmark 上评估，研究团队将其视为迈向可证明安全智能体系统的一步。
正文 · AI 翻译
摘要：随着智能体计算系统日益普及，它们因易受各类攻击而引发了严重的安全担忧。尽管此前的研究工作旨在缓解这些担忧，但它们往往过于粗粒度，且无法提供形式化的正确性保证。在这项工作中，我们提出了一种基于运行时监控的智能体安全新方法。我们的方法允许用户用 Datalog 指定其预期策略，并通过构建事件图在运行时强制执行所指定的策略。当智能体即将执行某个动作（例如工具调用）时，我们的方法会根据当前系统状态和过往事件的历史来判断该动作是否会违反策略。随后相应地阻止或允许该动作。我们实现了我们的方法，并在多个基准测试上进行了评估，展示了其在实际环境中的优势。我们将这项工作视为迈向可证明安全可靠的智能体系统的一步。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2602.16708 [cs.CR] |
| （或使用 arXiv:2602.16708v4 [cs.CR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.16708 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nils Palumbo [查看电子邮件]
[v1]
2026年2月18日星期三 18:57:12 UTC（437 KB）
[v2]
2026年2月19日星期四 03:40:05 UTC（437 KB）
[v3]
2026年5月8日星期五 15:45:27 UTC（83 KB）
[v4]
2026年10月12日星期一 04:22:13 UTC（94 KB）
来源：arXiv cs.AI · arxiv.org