arXiv cs.AI· Xiaoyi Chen, Yifei Gao, Yang Xu, Zhenlong Wang, Jian Yan, Jiming An, Xingxing Song, Liqun Deng, Xiaojun Meng, Jiansheng Wei, Yi Zhang, Jitao Sang·· 13 小时前AI 评分31
GUITestScape：面向开放式评估的探索性 GUI 测试基准
GUITestScape: Towards Open-set Evaluation on Exploratory GUI Testing
AI 导读
GUITestScape 是一个覆盖 61 个真实 Android 应用、508 个预设缺陷的交互式基准，同时涵盖交互缺陷与显示缺陷两类。研究团队还提出开放式评估器 GUIJudge，可将智能体的测试轨迹拆解为可独立诊断的能力，性能显著优于所有基线。实验显示检测仍是现有模型的主要瓶颈，将 GUIJudge 的验证器接入现有智能体后无需重训练即可显著提升检测表现。
正文 · AI 翻译
作者：Xiaoyi Chen、Yifei Gao、Yang Xu、Zhenlong Wang、Jian Yan、Jiming An、Xingxing Song、Liqun Deng、Xiaojun Meng、Jiansheng Wei、Yi Zhang、Jitao Sang
摘要：探索式 GUI 测试对 MLLM 智能体而言是一项要求尤为严苛的任务：在没有预定义测试脚本的情况下，智能体必须自主导航应用，并通过自身交互发现缺陷。然而，当前的评估在两个方面存在不足。第一，现有基准几乎只关注交互缺陷，将显示缺陷排除在评估范围之外。第二，评估协议受限于预定义的缺陷标注，将测试过程简化为单一的终态判断，从而混淆了性质上截然不同的失败模式。为应对这些挑战，我们提出了 GUITestScape，这是一个交互式基准，涵盖 61 个真实 Android 应用和 508 个预设缺陷，覆盖交互与显示两种类型；同时我们引入了 GUIJudge，这是一个开放集评估器，可将智能体的测试轨迹分解为可独立诊断的能力。实验结果表明，GUIJudge 在预定义标注之外实现了可靠的、过程感知的评估，显著优于所有基线。在 GUITestScape 上的基准测试进一步揭示，检测仍是现有模型在两类缺陷上的关键瓶颈，并且将 GUIJudge 的验证器集成到现有智能体中，无需重新训练即可显著提升其检测性能。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.29532 [cs.SE] |
| （或本版本的 arXiv:2605.29532v2 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2605.29532 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaoyi Chen [查看邮箱]
[v1]
2026年5月28日 星期四 07:47:27 UTC（13,816 KB）
[v2]
2026年10月29日 星期四 03:44:30 UTC（15,884 KB）
来源：arXiv cs.AI · arxiv.org