arXiv cs.AI· Mihai Christodorescu, Earlence Fernandes, Ashish Hooda, Somesh Jha, Johann Rehberger, Kamalika Chaudhuri, Xiaohan Fu, Khawaja Shams, Guy Amir, Jihye Choi, Sarthak Choudhary, Nils Palumbo, Andrey Labunets, Nishit V. Pandya·· 10 小时前AI 评分55
论文主张智能体安全应作为系统问题处理
Agent Security is a Systems Problem
AI 导读
这篇被 NeurIPS 2026 接收为 Oral 的论文提出，智能体安全必须作为系统问题处理，把驱动智能体的 AI 模型视为不可信组件，并在系统层强制安全不变量。作者认为仅靠提升模型鲁棒性并不充分，还需结合系统安全领域的技术；论文分析了 11 起针对智能体的真实攻击，讨论这些系统原则若落地能否阻止攻击，并指出实现这些原则面临的研究挑战。
正文 · AI 翻译
作者：Mihai Christodorescu、Earlence Fernandes、Ashish Hooda、Somesh Jha、Johann Rehberger、Kamalika Chaudhuri、Xiaohan Fu、Khawaja Shams、Guy Amir、Jihye Choi、Sarthak Choudhary、Nils Palumbo、Andrey Labunets、Nishit V. Pandya
摘要：我们主张，智能体安全必须作为一个系统性问题来处理：驱动智能体的 AI 模型必须被视为不可信组件，安全不变量必须在系统层面强制执行。从这个视角看，提升模型鲁棒性（社区中的主流观点）的努力本身并不充分。相反，我们必须用系统安全领域的技术来补充现有工作。基于我们作为网络安全研究人员在操作系统、网络、形式化方法和对抗性机器学习方面的经验，我们阐述了一套核心原则，这些原则植根于数十年的系统安全研究，为设计具有可预测保证的智能体系统提供了基础。作为证据，我们分析了十一个具有代表性的真实世界智能体攻击案例，并讨论了如果系统原则得以实现，本可以如何阻止这些攻击。我们还指出了在智能体中实施这些原则所面临的研究挑战。
| 评论： | 已被 NeurIPS 2026 接收（口头报告） |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.18991 [cs.CR] |
| （或 arXiv:2605.18991v3 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.18991 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nils Palumbo [查看邮箱]
[v1]
2026年5月18日星期一 18:11:17 UTC（9,744 KB）
[v2]
2026年5月20日星期三 17:25:38 UTC（9,744 KB）
[v3]
2026年11月4日星期三 00:02:12 UTC（9,749 KB）
来源：arXiv cs.AI · arxiv.org