arXiv cs.MA· Tian Jin, Wenhao Wang, Jing Kang, Haoting Shi, Rui Ye, Yijun Lu, Siheng Chen·· 6 天前AI 评分32
SoftwareGym:用多样化合成软件环境扩展 Computer-Use Agent 训练
SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments
AI 导读
SoftwareGym 是一套自动合成 GUI 软件环境的流水线,可生成结构多样、功能可执行且经运行时验证的应用,共合成 12 个类别 182 个应用,平均 GUI 任务通过率达 91.5%。
正文 · AI 翻译
摘要:计算机使用智能体(CUA)正在快速进步,但大规模合成多样且可靠的软件环境仍然具有挑战性。原生应用环境需要大量的构建和集成工作,这限制了应用覆盖范围并增加了应用特定过拟合的风险。浏览器托管环境提供的交互深度和工作流复杂度有限。这些局限促使我们提出 SoftwareGym,一个用于合成具有多样界面、可执行功能和运行时验证行为的 GUI 软件环境的自动化流水线。它生成结构多样的设计,将其实现为可运行的应用程序,并使用 GUI 评估与迭代修复来确保功能可靠性。使用 SoftwareGym,我们合成了涵盖十二个类别的 182 个应用程序,并实现了 91.5% 的平均 GUI 任务通过率。我们构建了 SoftwareGym-Bench,一个涵盖相同十二个类别的 120 任务评估套件,并使用从这些环境中收集的轨迹进行 CUA 训练。所得模型在严格的域外 OSWorld 基准上将 Pass@3 从 41.39% 提升至 56.97%,并在 SoftwareGym-Bench 上达到 40.0%。这些结果展示了合成软件环境作为 CUA 训练可扩展且可迁移的监督信号的潜力。
| 评论: | 26 页,11 幅图,包括附录 |
| 主题: | 多智能体系统(cs.MA);软件工程(cs.SE) |
| 引用为: | arXiv:2610.12611 [cs.MA] |
| (或 arXiv:2610.12611v1 [cs.MA] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.12611 arXiv 颁发的 DOI,通过 DataCite(待注册) |
提交历史
来自:Tian Jin [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 18:31:16 UTC(35,370 KB)
来源:arXiv cs.MA · arxiv.org