arXiv cs.CL· Wanjing Han, Levi Taiji Li, Mu Zhang, Yue Jiang, Guanhong Tao·· 10 天前AI 评分53
WebMirage：对抗图像劫持网页智能体，从视觉定位到浏览器执行
Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution
AI 导读
论文提出 WebMirage 框架，针对基于大型视觉语言模型的网页智能体，构造局部视觉扰动，使智能体选择攻击者控制的内容并执行对应的浏览器动作。作者把视觉网页智能体的红队测试形式化为从视觉定位到执行的端到端问题，用角色槽抽象与网页重组刻画网页元素间的竞争，并用数据流分析让优化对齐动作后处理。
正文 · AI 翻译
摘要：基于大型视觉语言模型构建的现代网页代理会处理网页、选择相关 UI 元素，并将模型输出转化为浏览器操作。现有的视觉红队方法利用对抗性视觉内容来操纵这一过程。然而，它们主要针对模型推理，并未明确考虑结构化输入处理或动作后处理。因此，模型层面的成功并不能确立对浏览器执行的控制，也无法可靠地刻画端到端代理的鲁棒性。为弥补这一空白，我们将面向视觉落地的网页代理的红队问题表述为端到端的从落地到执行问题，并提出 WebMirage，一个通过构造局部视觉扰动，使代理在不同网页渲染下选择攻击者控制的内容并执行相应浏览器操作的框架。它使用角色槽抽象和网页重组来捕捉网页元素之间的竞争，并使用数据流分析使优化与动作后处理对齐。我们在四种代理配置和六种 VLM 主干上，针对涵盖 13 个公共网站和一个沙箱基准的 2,250 个任务评估了 WebMirage。WebMirage 的平均攻击成功率达到 91.9%，而最强基线为 17.4%，并且对三种代理级防御仍然有效。
| 评论： | 20 页，8 幅图，6 张表。代码：此 https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09240 [cs.CR] |
| （或 arXiv:2610.09240v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09240 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wanjing Han [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 00:05:53 UTC（3,162 KB）
来源：arXiv cs.CL · arxiv.org