arXiv cs.AI· Xinhao Song, Haoxuan Peng, Su Su, Hongliang Wu, Sirui Song, Gongshen Liu, Linfeng Zhang, Dongrui Liu·· 11 小时前AI 评分38
SolveBind:突破 GUI 智能体验证屏障的分层求解与运行时监督框架
Correct Answers, Closed Gates: SolveBind for GUI Agents at the Verification Barrier
AI 导读
SolveBind 是面向受保护 GUI 环境的智能体框架,将验证任务拆解为 Perceive、Ground、Solve、Act、Verify 五类能力,并由运行时监督器基于工具证据约束执行。
正文 · AI 翻译
摘要:网站和应用程序部署 CAPTCHA 和反自动化机制,这些机制使用交互轨迹和时序等行为信号(而非仅凭结果)来区分人类与自动化代理。我们将这些称为受保护的 GUI 环境,在其中正确解决验证任务不足以完成端到端任务。代理必须将求解器输出转化为被接受的交互,并在时间约束下根据运行时反馈调整执行。我们提出 SolveBind,一个结合分层求解与运行时监督的 GUI 代理框架。分层求解树将验证分解为相互依赖的 Perceive、Ground、Solve、Act 和 Verify 能力。运行时监督器将行动承诺建立在工具衍生的证据之上,随着证据到达进行修订,并在明确的恢复预算下协调执行。在九个 CAPTCHA 任务系列和九个骨干模型上,SolveBind 在八个骨干上取得最高成功率,比最强基线高出 13.3-34.5 个百分点。它在所有六个 AndroidWorld 骨干上取得最高成功率。在配对 GPT-5.5 分析中,MobileAgent 产生正确答案但在 90 个任务中有 13 个未能通过动态验证;SolveBind 在其中七个任务上成功。在自动提交下,移除绑定使成功率从 82.22% 降至 71.56%,并增加延迟和 token 使用量。恢复上限降低执行成本,但观察到小幅成功率权衡:移除它们使成功率从 82.22% 升至 83.56%,同时延迟和 token 使用量分别增至完全监督值的 3.7 倍和 2.4 倍。这些结果支持基于证据的执行控制,同时识别出恢复中的成功率-成本权衡以及启发式提交规则的失败边界。
| 评论: | 41 页,16 张图 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.32223 [cs.AI] |
| (或 arXiv:2610.32223v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.32223 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xinhao Song [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 06:27:37 UTC(21,034 KB)
来源:arXiv cs.AI · arxiv.org