PhoneWorld:把真实 App 轨迹转成可验证的手机智能体训练环境
PhoneWorld: From Real-App Trajectories to Dynamic and Verifiable Environments for Phone-Use Agents
PhoneWorld 提出一种基于轨迹的框架,把真实 App 的页面、状态转移和操作记录转成可运行、可重置、可验证的 Android 环境,覆盖 16 个领域的 34 款消费级 App。实验显示,该环境支持端到端在线交互,其轨迹与 AndroidWorld 监督互补,在同等 RL 预算下与真实 App rollout 结合可提升真实手机任务和 AndroidWorld 上的表现。
作者:Yuxuan Liu、Xin Lai、Junyi Li、Pengyuan Lyu、Chenxin Li、Yiduo Guo、Zhengyao Fang、Yang Ding、Yi Zhang、Weinong Wang、Huawen Shen、Xingran Zhou、Liang Wu、Fei Tang、Sunqi Fan、Shangpin Peng、Zheng Ruan、Anran Zhang、Chengquan Zhang、Han Hu、Benyou Wang、Ji-Rong Wen、Rui Yan、Zhengyang Tang
摘要:真实应用提供了最接近手机智能体部署的训练环境,但难以重置、安全扩展和程序化验证。静态截图和交互轨迹保留了真实证据,却无法生成新的经验。我们提出 PhoneWorld,一个基于轨迹的框架,可将此类证据转换为可运行、可重置且可验证的 Android 环境。PhoneWorld 从观察到的页面、状态转移和改变状态的操作中归纳出按使用频率加权的交互骨架;将其转换为基于行为的应用规格;通过自主的构建—检查—修复循环实现该规格;并借助程序化验证器合成可执行任务。由此得到的套件涵盖 16 个领域的 34 个面向消费者的应用,并支持经审核的在线基准测试、经验证的轨迹生成,以及通过通用重置和验证接口进行的在线强化学习。对多种通用和开源 GUI 智能体的评估表明,PhoneWorld 支持可靠的端到端在线交互,并展现出与 AndroidWorld 互补的能力。受控的 SFT 实验进一步表明,PhoneWorld 轨迹可补充 AndroidWorld 的监督信号,可在在线和离线基准之间迁移,并且随着数据量和应用覆盖范围的增加而变得更加有效。在相同的 RL 预算下,将 PhoneWorld 模拟应用 rollout 与真实应用 rollout 相结合,在真实手机任务和 AndroidWorld 上均优于仅使用真实应用的 RL。这些结果共同表明,基于轨迹的可执行抽象能够连接真实的移动行为与可扩展的智能体学习,将有限的真实应用证据转化为不断增长的可控、可验证环境,用于训练和评估。
| 评论: | 进行中的工作 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2605.29486 [cs.CL] |
| (或此版本的 arXiv:2605.29486v4 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2605.29486 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yuxuan Liu [查看邮箱]
[v1]
2026年5月28日星期四 07:14:15 UTC(3,147 KB)
[v2]
2026年8月14日星期五 05:07:01 UTC(3,170 KB)
[v3]
2026年9月28日星期一 15:27:12 UTC(4,663 KB)
[v4]
2026年11月19日星期四 18:16:20 UTC(4,664 KB)
来源:arXiv cs.CL · arxiv.org