arXiv cs.CL· Rishi Jha, Harold Triedman, Arkaprabha Bhattacharya, Vitaly Shmatikov·· 10 小时前AI 评分58
论文提出智能体意外崩溃失效模式:环境报错下64.9%的rollout出现不安全行为
Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents
AI 导读
论文提出并测量了一种新的智能体失效类型“意外崩溃”,即在没有任何对抗输入的情况下,智能体面对良性环境错误(如网页不可访问、文件缺失、配置错误)时出现的不安全或有害行为。
正文 · AI 翻译
摘要:使用计算机和 Web 的智能体不可避免地会遇到错误:网页无法访问、文件缺失、本地和远程配置错误等。这些错误并不会阻碍基于最先进模型的智能体。它们会继续寻找完成任务的方法。
我们引入、刻画并测量了一种新的智能体失效类型,我们称之为意外崩溃:在没有任何对抗性输入的情况下,针对良性环境错误做出的不安全或有害行为。由于现有可靠性或安全性基准无法捕捉崩溃,我们制定了崩溃行为的分类体系。随后,我们实现了一个与智能体无关的基础设施,用于将模拟的本地和远程错误注入 rollout 环境,并用它系统评估由 GPT、Grok、Gemini 和 Claude 驱动的智能体。
我们的评估表明,在遇到模拟错误的智能体 rollout 中,64.9% 出现了严重程度和成功率各异的崩溃(例如进行未经授权的侦察或破坏访问控制),涵盖智能体系统、后端模型和错误类型的所有组合。在所有观察到的崩溃中,有一半未向用户报告不安全行为。比较同一智能体在有错误和无错误时的行为,我们发现针对错误的探索与不安全及有害行为相关。
| 评论: | 39 页,10 张图,7 张表 |
| 主题: | 计算与语言(cs.CL);密码学与安全(cs.CR) |
| 引用为: | arXiv:2605.19149 [cs.CL] |
| (或 arXiv:2605.19149v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.19149 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Hal Triedman [查看电子邮件]
[v1]
2026 年 5 月 18 日星期一 22:03:38 UTC(570 KB)
[v2]
2026 年 11 月 18 日星期三 22:34:53 UTC(631 KB)
来源:arXiv cs.CL · arxiv.org