arXiv cs.AI· Zirui Shang, Yang Liu, Xin Shu, Zhi Gao, Xinxiao Wu, Lifeng Fan·· 3 天前AI 评分24
面向 GUI 智能体的自适应分组过程奖励框架
Adaptive-Group Process Rewards for GUI Agents
AI 导读
针对 GUI 智能体强化学习结果奖励稀疏的问题，研究者提出自适应分组过程奖励框架，将 GUI 轨迹动态划分为语义连贯的子目标组，在动作级和组级同时估计过程奖励，并用其增强 GRPO 的结果优势以提供更细粒度训练指导。在过程奖励基准和下游 RL 训练上的实验验证了该框架的有效性。
正文 · AI 翻译
摘要：使用强化学习训练图形用户界面（GUI）智能体面临稀疏的结果奖励问题，导致学习效率低下。过程奖励为中间动作的信用分配提供了一个有前景的方向；然而，准确评估一个动作需要在长时程 GUI 轨迹中识别证据，因为其价值可能取决于其即时状态和观察之外的信息。在本文中，我们提出了一种自适应分组过程奖励框架，该框架将 GUI 轨迹动态划分为语义连贯的子目标组，从而能够在动作和组两个层面进行过程奖励估计。在动作层面，评论家根据组内的视觉变化和后续动作评估每个动作的正确性及其对子目标的贡献。在组层面，该框架聚合动作层面的评估，以评估子目标完成情况及其对整体任务的贡献，并进一步利用轨迹中所有组的上下文来细化这些评估。每个动作的过程奖励由其动作层面评估与细化后的组层面评估相结合而得到。我们进一步用所提出的过程奖励增强 GRPO 的结果优势，为 GUI 智能体训练提供更细粒度的指导。在过程奖励基准和下游 RL 训练上的实验证明了所提出框架的有效性。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17710 [cs.AI] |
| （或 arXiv:2610.17710v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17710 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zirui Shang [查看邮箱]
[v1]
2026年10月13日星期二 04:37:18 UTC（4,146 KB）
来源：arXiv cs.AI · arxiv.org