arXiv cs.AI· Yini Huang, Aiwen LU, Zhen Sun, Yi Han, Yuzhi Zhao, Jiaheng Wei·· 10 小时前AI 评分38
ANGLER:面向 Web 智能体的验证器基准与自适应攻击框架
ANGLER: Verifier-Grounded Benchmarking with an Adaptive Attacker for Web Agents
AI 导读
研究者提出 REEF 基准与 ANGLER 自适应攻击框架,用于评测 Web 智能体的安全漏洞。REEF 覆盖 9 个带验证器的网站,将每个良性任务与 5 类攻击结合;ANGLER 依据历史 rollout 结果引导 LLM 变异攻击并优先筛选近失样本。
正文 · AI 翻译
摘要:Web 智能体正越来越多地被部署到真实网站上自主完成任务,而对抗性注入的内容可能诱导它们执行未经授权的操作。现有评估主要使用固定攻击或只关注单一攻击类型,并且在文本层面而非通过真实状态变化来评估攻击,因此低估了智能体面对多样化攻击时的脆弱性。为填补这一空白,我们推出 REEF,一个带有忠实验证的可执行环境红队测试基准,用于衡量 Web 智能体的安全漏洞。REEF 涵盖 9 个以验证器为依据的网站,横跨旅行、商业、生产力、媒体和通信领域,并将每个真实的良性任务与通过 5 种攻击类型在用户和环境两个层面传递的恶意目标配对。REEF 基于状态的验证器提供执行反馈,驱动 ANGLER——一个用于红队测试的自适应近失引导诱饵演化框架。ANGLER 不评估固定的攻击集,而是利用先前 rollout 的结果来指导基于 LLM 的攻击变异和候选选择,在细化过程中优先考虑近失种子。在 8 个基于 VLM 的 Web 智能体上,ANGLER 实现了 20.36% 的端到端攻击成功率(ASR),而非自适应设置为 15.24%。与在相同良性任务上无攻击执行相比,ANGLER 生成的攻击将良性任务成功率(BSR)从 61.9% 降至 44.4%。
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2610.41272 [cs.CR] |
| (或 arXiv:2610.41272v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.41272 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yini Huang [查看邮箱]
[v1]
2026年10月30日星期五 05:25:48 UTC(2,943 KB)
来源:arXiv cs.AI · arxiv.org