arXiv cs.AI· Pierre Dantas, Lucas Cordeiro, Ehsan Nowroozi, Norbert Tihanyi·· 12 小时前AI 评分42
面向安全 LLM 智能体：规范、验证与执行综述
Toward Safe LLM Agents: A Survey of Specification, Verification, and Enforcement
AI 导读
一篇 PRISMA 2020 系统综述梳理了 2022-2026 年间 38 项 LLM 智能体规范、验证与执行研究，指出规范是瓶颈：某基准上自然语言转 PDDL 仅 24.8-34.2% 语义正确。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体会采取不可逆的现实世界行动，但目前没有任何系统能为其计划提供形式化、任务级的安全保证。在一项 PRISMA 2020 系统综述中，我们检索了六个数据库（2026 年 5 月 20 日至 29 日），查找 2022 至 2026 年间发表的关于 LLM 智能体规范、验证与执行的研究。我们对 38 项研究进行了叙述性综合，逐项评估了偏倚风险，并用 GRADE 对证据确定性进行分级。三位作者独立筛选了一次重复检索，以验证单审阅者筛选的可靠性（一致性：Fleiss' $\kappa = 0.81$）。第一，规范是瓶颈：在一个基准上，LLM 将自然语言翻译为规划领域定义语言（PDDL）的结果中，只有 24.8% 至 34.2% 在语义上正确。第二，运行时监控是最成熟的执行策略；在一项家庭智能体研究中，它将不安全行动减少了 65.37%，但其保证仅覆盖单步或短时程。第三，在一项针对事务性工具使用智能体的 $\tau$-Bench 研究中，即便拦截了 94% 的不安全行动，在大多数设置下仍只有不到 5% 的任务既安全又正确地完成，因为智能体会找到其他不安全路径（验证器税）。第四，没有任何方法能同时实现可靠性、完备性、可扩展性、语义落地与效用保持。对于九项主要主张中的七项，GRADE 给出最低确定性评级（极低），这意味着进一步研究很可能得出显著不同的数字；每项主张都仅基于狭窄领域内的一两项研究。我们列为最高优先级的开放问题中，有两项是将需求转化为保持其含义的形式化规范，以及在整个计划而非单个行动层面执行安全。我们贡献了一个三级分类法和一份包含十个开放问题的议程。
| 评论： | 37 页，2 幅图，11 张表。修订版正在 ACM Computing Surveys 审稿中。数据存放：此 https URL。PRISMA 2020 检查清单作为附件文件包含在内 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | A.1; D.2.4; I.2.8 |
| 引用为： | arXiv:2608.14590 [cs.AI] |
| （或 arXiv:2608.14590v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.14590 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Pierre Dantas [查看邮箱]
[v1]
2026 年 6 月 22 日星期一 21:03:26 UTC（88 KB）
[v2]
2026 年 10 月 17 日星期六 17:11:48 UTC（159 KB）
[v3]
2026 年 10 月 20 日星期二 18:43:44 UTC（173 KB）
来源：arXiv cs.AI · arxiv.org