arXiv cs.CL· Xunjian Yin, Tianchen Guan, Jinao Wang, Weili Cao, Daisy Xinlei Lin, Royce Cheng-Yue, Keagan Long, Kyle Wong, Bhuwan Dhingra, Xiangjun Wang, Shuyan Zhou·· 11 小时前AI 评分58
BreakingWeb：用受控环境干预构造更难的浏览器智能体任务
Constructing Challenging Browser-Use Tasks by Controlled Environment Interventions
AI 导读
研究者提出 BreakingWeb，通过受控改变网站内容、服务器状态、网络响应或渲染页面来提升现有浏览器任务的难度，每个任务在原始网站和干预版本各跑一次，共 519 个任务对、覆盖 7 个自托管网站，并按网站最终后端状态评分。
正文 · AI 翻译
作者：Xunjian Yin、Tianchen Guan、Jinao Wang、Weili Cao、Daisy Xinlei Lin、Royce Cheng-Yue、Keagan Long、Kyle Wong、Bhuwan Dhingra、Xiangjun Wang、Shuyan Zhou
摘要：随着浏览器使用智能体的改进，基准测试通过增加新任务、网站和应用来保持同步。这样做成本高昂，而且由于许多因素同时变化，很难说清新任务为何更难。在本工作中，我们改为通过改变任务执行的环境来使现有任务更难，从而使难度成为环境的一种可编程属性。我们提出 BreakingWeb，其中每个任务运行两次：一次在未修改的网站上，一次在干预下运行，即对网站内容、服务器状态、网络响应或渲染页面进行受控更改。每次干预都是可复现的，保持用户指令和成功标准不变，有能力的用户能够检测并绕过它，并且标注了从中恢复主要需要的行为，例如验证。BreakingWeb 在七个自托管网站上包含 $519$ 个任务对，每次运行都根据网站的最终后端状态评分。我们评估了六个强浏览器使用智能体、三个仅观察截图的智能体以及人类参与者。干预使六个浏览器使用智能体的通过率平均降低 $22.9$ 个百分点，且每个智能体在其于未修改网站上解决的任务中，有近一半会失败。人类受到的影响要小得多：他们的通过率在首次尝试时下降 $10.0$ 个百分点，在重复任务时下降 $5.7$ 个百分点。六个智能体的大多数失败（$75\%$）是 \emph{信念失败}，即智能体宣称运行已完成，尽管所需的更改从未做出。我们的代码、数据和环境可在 此 https URL 获取。
| 评论： | 41 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.35814 [cs.CL] |
| （或 arXiv:2609.35814v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35814 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xunjian Yin [查看电子邮件]
[v1]
2026 年 9 月 20 日星期日 16:16:23 UTC（2,348 KB）
[v2]
2026 年 10 月 20 日星期二 06:53:50 UTC（2,346 KB）
来源：arXiv cs.CL · arxiv.org