arXiv cs.AI· Vasundra Srinivasan·· 13 小时前AI 评分52
研究：computer-use agent 的点击失效多源于页面加载，而非规划间隔
What Does "Now" Mean to Your Computer-Use Agent? Stale Screenshots, Page Loads, and Which Check to Run Before a Click
AI 导读
一项在 31 个公开网页上测量计划点击的研究发现，点击失效的风险主要来自页面加载：在完全加载的页面上规划的点击中，0.4% 在 30 秒内失效，而页面打开后第一秒内规划的点击有 17% 失效。
正文 · AI 翻译
摘要：计算机使用智能体在截图上规划数秒，然后点击屏幕上的某个位置；如果在此期间页面发生了变化，点击就会落在非预期的元素上。此前的工作将规划间隔视为这一风险的来源。通过测量 31 个公开网页上的计划点击，我们发现风险在于页面加载：在完全加载的页面上规划的点击中，有 0.4% 在 30 秒内变得失效，而在页面打开后第一秒内规划的点击中，这一比例为 17%。在这些页面上，等待约一秒让网络活动停止即可消除大部分风险，但十个广泛使用的开源智能体中有八个的等待规则会让超过 1% 的点击失效。商业页面加载时间更长：在 HTTP Archive 的公开抓取中，65 个桌面端预订和购买首页中有 15% 在其 HTML 被解析后的 3 秒内出现了 500 毫秒无网络请求的间隔，而 3,028 个 .gov 页面中这一比例为 63%；并且有 52% 的页面在最长 3 秒的网络空闲等待后的 6.5 秒内发生了布局偏移，而后者为 8%（在完整记录的页面中分别为 61% 和 26%）。在需要在点击前进行检查的情况下，例如在不可逆操作之前以及仍在加载的页面上，像素比较验证目标位置的准确度与前沿视觉语言模型相当，而延迟仅为其八分之一；一个 4B 模型在验证上一个操作是否成功方面与前沿模型相当。我们发布了一个基准生成器、一个用于判断检查何时划算的盈亏平衡公式，以及面向智能体开发者的三条规则：this https URL
| 评论： | 8 页，4 幅图，3 张表。代码、基准生成器和预注册：this https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39282 [cs.AI] |
| （或 arXiv:2610.39282v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39282 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vasundra Srinivasan [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 03:33:26 UTC（1,578 KB）
来源：arXiv cs.AI · arxiv.org