arXiv cs.AI· Qiushi Sun, Da Yu, Alexander Knop, Amer Sinha, Lingpeng Kong, Ben Kao, Ravi Kumar, Pritish Kamath·· 13 小时前AI 评分34
VeriCUA:将验证作为智能体探索,为计算机使用智能体提供跨平台任务完成校验
VeriCUA: Verification as Agentic Exploration for Computer-Using Agents
AI 导读
VeriCUA 是一个平台无关的验证框架,把验证视为智能体在共享流程中的动态证据收集与评估,统一覆盖在线与离线、跨平台与多模态观测场景。验证器先检查可用上下文构建任务 rubric,再对未满足的要求选择 GUI 或代码检查,并按明确的证据规则合并结论。实验显示其在上述设置下与参考标签的一致率优于对比基线,离线难例提升最大,在线对虚假完成声明的拒绝更强。
正文 · AI 翻译
摘要:在桌面、移动端和网页环境中构建并扩展计算机使用智能体(CUA),需要可靠的任务完成验证,以支持数据整理、评估和强化学习。典型的自动化方法会提示视觉语言模型(VLM)评判轨迹,或生成程序来检查应用状态。然而,这两种方法都依赖于对复杂数字环境的部分视图。VLM 评判器受限于所提供的观察结果,而生成的程序则依赖于可访问的状态。这些视图可能遗漏决定性证据,或使完成判断缺乏支持。为不同平台和访问设置分别定制验证器还会增加额外的工程成本。我们提出 VeriCUA,一个与平台无关的框架,通过智能体探索进行验证。它将验证视为动态的证据收集与评估,并在跨平台和观察模态的在线与离线设置中采用统一流程。在检查可用上下文以构建任务评分标准后,验证器会为未解决的需求选择 GUI 或代码检查,并在明确的证据规则下综合其发现。实验表明,在这些设置下,与参考标签的一致性相比对比基线有所提高,离线时在困难案例上的增益最大,在线时对虚假完成声明的拒绝更强。进一步的分析将这些增益与互补证据和测试时探索联系起来。
| 评论: | 进行中的工作 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2610.40578 [cs.AI] |
| (或 arXiv:2610.40578v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.40578 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Qiushi Sun [查看电子邮件]
[v1]
2026年10月29日星期四 17:45:26 UTC(4,118 KB)
来源:arXiv cs.AI · arxiv.org