arXiv cs.AI· Jingxing Wang, Teng Wang, Xingyu Lou, Zihan Guo, Jun Wang, Weiwen Liu, Weinan Zhang, Jianghao Lin·· 10 小时前AI 评分38
训练一个能干的 GUI Agent,环境需要多完整?MobileGym 给出三维度实证
How Complete Must an Environment Be to Train a Capable GUI Agent?
AI 导读
研究在 MobileGym 中分别调整奖励覆盖、数据覆盖与功能覆盖三个维度,训练 Qwen3-VL-4B-Instruct 并在原始完整环境中评测。仅奖励单条参考路径会使成功率下降 10.53 点,删除非必要记录同样降低成功率;而裁剪非必要功能反而把成功率从 51.61% 提升到 56.13%。
正文 · AI 翻译
摘要:图形用户界面(GUI)智能体通常在可执行的 GUI 环境中进行训练。为降低成本、批量构建环境并减少人工投入,每项工作都通过其构建选择舍弃了环境的一部分。我们沿三个维度描述这些选择:奖励覆盖范围,即验证器所奖励的达成目标的轨迹;数据覆盖范围,即智能体除任务读写内容之外所接触的应用数据;以及功能覆盖范围,即任务所用之外的应用功能。现有工作基于工程理由设定每个维度,但并未衡量其对训练的影响。环境需要多完整才能训练出有能力的智能体,又应沿哪些维度保持完整?在 MobileGym 中,我们分别调整每个维度,训练 Qwen3-VL-4B-Instruct,并在原始完整环境中评估每个策略。仅奖励一条参考路径的验证器会使成功率下降 10.53 个百分点,移除不需要的记录同样会降低成功率。相反,剪除不需要的功能则将成功率从 51.61% 提升至 56.13%,且提升完全来自环境未被改变的任务。当每个回合被赋予相同权重时,这一增益发生反转;当仅对剪枝任务上的回合进行平衡时,增益消失。若不进行剪枝,该处的长度加权会强化那些会侵蚀其他任务技能的冗长绕行成功案例。基于这些发现,我们构建了 MobileGym-Lite,它保持奖励和数据覆盖范围完整,并剪除不需要的功能。它在完整环境中优于 Full(成功率为 55.48% 对 51.61%),且构建成本更低。
| 评论: | 15 页,6 幅图 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23946 [cs.CV] |
| (或使用 arXiv:2611.23946v1 [cs.CV] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.23946 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jingxing Wang [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 06:32:44 UTC(479 KB)
来源:arXiv cs.AI · arxiv.org