arXiv cs.AI· Zhiyuan Peng (Shanghai Jiao Tong University), Wei Tao (LIGHTSPEED), Chenhao Ying (Shanghai Jiao Tong University), Yuan Luo (Shanghai Jiao Tong University), Yiwen Guo (Independent Researcher)·· 10 小时前AI 评分35
StatePortal:为交互式软件深层状态测试合成智能体检查点
StatePortal: Agentic Checkpoint Synthesis for Testing Deep States in Interactive Software
AI 导读
StatePortal 是一个智能体,能从自然语言功能测试用例和只读源码合成可版本化、可重放的检查点,用于测试交互式软件的深层状态。团队同时发布 DeepStateBench,覆盖 10 个交互式应用、61 个深层状态任务,源码规模 874 至 7.2M 行。
正文 · AI 翻译
摘要:大型语言模型降低了为带图形用户界面(GUI)的交互式软件生成代码的工作量。对于此类软件,一个关键的测试瓶颈是到达深层状态,这需要很长的交互历史。到达该状态的成本会在各个提交之间反复出现,而本可摊薄这一成本的 GUI 自动化又假定存在 DOM 或无障碍树,而自渲染引擎并不暴露这些结构。我们提出 StatePortal,这是一个智能体,它从自然语言功能测试用例以及对目标源代码的只读访问中合成检查点——一种可恢复该状态、可版本化并可重放的产物。检查点通过一个按应用配置的钩子来恢复,该钩子由引导智能体一次性绑定或合成,无需手写钩子代码。由于检查点可能在渲染不正确的情况下仍满足状态检查,检查点通过混合的程序化状态与视觉评估来评分:验收要求程序化状态预言机和视觉预言机同时通过。我们以盲测的跨 VLM 参考来校准视觉预言机。我们发布 DeepStateBench,包含 10 个交互式应用中的 61 个深层状态任务,跨越五个语系和六种渲染栈,源代码规模从 874 行到 720 万行不等。在三个已注册模型上,以合成检查点作为种子的 GUI 智能体完成了 10.4% 的试验,而在相同像素动作空间下不提供种子时为 0%;而 StatePortal 还通过钩子交付目标动作,完成了 27.5%。在 112 个检查点的 1,361 次重放中,98.90% 在零模型调用的情况下复现了原始判定,混合预言机检测出 96.25%(77/80)的受控视觉故障,这些故障仅靠程序化状态检查无法发现。我们在 此 https URL 开源了代码,网站见 此 https URL
| 评论: | 提交至 ICLR 2027 |
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23257 [cs.SE] |
| (或本版本的 arXiv:2611.23257v1 [cs.SE]) | |
| https://doi.org/10.48550/arXiv.2611.23257 由 DataCite 颁发 arXiv DOI |
提交历史
来自:Zhiyuan Peng [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 17:55:57 UTC(5,785 KB)
来源:arXiv cs.AI · arxiv.org