arXiv cs.AI· Yuxiang Chai, Quyu Kong, Panrong Tong, Steven Hoi, Yue Wang·· 13 小时前AI 评分38
面向 GUI 智能体的高效自适应训练：在哪里学、回滚多远
Where to Learn and How Far to Roll Out: Efficient Adaptive Training for GUI Agents
AI 导读
一种两阶段自适应训练框架通过从专家轨迹构建可复用中间检查点、用动作分歧挑选信息量高的枢轴点，让 GUI 智能体只在关键状态学习并按任务进度逐步扩展回滚范围。在 MobileGym 和 CUA-Gym-Hub 上，该方法相比 Vanilla GRPO 减少 56-61% 的环境交互，同时提升任务表现。
正文 · AI 翻译
摘要：轨迹级 GRPO 是训练多步 GUI 智能体的一种常用方法，但从任务根节点反复展开完整轨迹可能效率低下：任务级奖励对哪些中间决策需要改进提供的监督较为粗糙，而已经掌握的轨迹前缀在到达困难状态之前会被反复重新执行。我们提出一种两阶段自适应训练框架，同时解决在哪里学习以及展开多远的问题。我们首先从成功的专家轨迹中构建可复用的中间检查点，并利用动作分歧度选择信息量高的枢轴点，该分歧度直接从采样的 GUI 动作中度量不确定性。阶段 I 在这些枢轴点上执行一步式 RL，以改进不确定的局部决策。阶段 II 随后根据任务进度，通过自适应的 Local、Suffix 和 Root 训练逐步扩大策略的职责范围。可恢复的检查点使得可以从中间状态反复训练，而无需重放之前的轨迹。在 MobileGym 和 CUA-Gym-Hub 上，我们的方法相对于 Vanilla GRPO 将环境交互减少了 56-61%，同时提升了任务性能，表明在状态和展开范围之间联合分配训练可以显著提高 GUI 智能体 RL 的效率。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39251 [cs.AI] |
| （或 arXiv:2610.39251v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.39251 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxiang Chai [查看邮箱]
[v1]
2026年10月29日 星期四 03:03:29 UTC（1,880 KB）
来源：arXiv cs.AI · arxiv.org