跳到正文
arXiv cs.AI· Yuxuan Zhou, Chen Xiong, Haitong Liu, Kuofeng Gao, Yang Bai, Zhiyuan He, Tao Dai, Shu-Tao Xia·· 23 小时前AI 评分58

SEAM:电脑操作智能体识别跨屏组合风险后仍会执行

SEAM: Computer-Use Agents Know the Harm Between Screens, and Commit It Anyway

AI 导读

研究者提出 SEAM 基准,包含 600 个跨应用、多步骤的 OSWorld 任务,指令和每一步观察单独看都无害,只有组合起来才构成危害。通用开源权重模型和旗舰智能体在最多 92% 的运行中执行了这类危害,但用户用一句话直接说明时它们会拒绝;智能体确实打开了关键页面,被问及时也能指出危害,思考模式下常把冲突写进推理却仍然确认执行。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:面向计算机使用智能体(CUA)的安全基准测试要么将危害置于任务意图中,要么置于单一屏幕上:恶意指令、注入命令、钓鱼页面。仅在孤立情况下检查任务和每个屏幕的智能体可以通过这些测试,因此它们无法检验智能体是否会组合在不同屏幕上看到的事实。然而在委托工作中,危害往往正是这样产生的:一个屏幕上关于某个人的事实,另一个屏幕上关于某个物品的事实,以及一个将它们关联起来的合法任务。我们提出 SEAM(跨多屏幕的安全执行),这是一个针对此类跨屏幕组合危害的基准测试:包含 600 个多步骤、跨应用程序的 OSWorld 任务,其中指令和每一次单独观察都是无害的,只有它们的组合才具有危害性。仅在某一处不同的最小配对变体,根据服务器日志而非 LLM 评判器评分,可定位智能体失败的位置。通用开源权重模型和旗舰智能体在高达 92% 的运行中实施了危害,然而当用户用一句话陈述该危害时,它们会拒绝。智能体会打开决定性页面,因此暴露并非主要瓶颈。当被问及这些页面时,它们会标记出危害,而在思考时,它们常常将冲突写入推理过程,却仍然予以确认。因此,安全识别并不能可靠地转化为安全执行,而这种转化取决于信息渠道:同样的警告在用户指令中比在屏幕上更能阻止智能体。专有模型明显更为谨慎。我们在 此 https URL 发布了 SEAM 及其生成器和质量门控。
Comments: 30 页,14 张图,29 张表
Subjects: 密码学与安全(cs.CR);人工智能(cs.AI)
ACM 分类: I.2.7;I.2.10
引用为: arXiv:2611.22971 [cs.CR]
  (或 arXiv:2611.22971v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22971

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yuxuan Zhou [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 15:53:58 UTC(915 KB)

来源:arXiv cs.AI · arxiv.org