arXiv cs.AI· Junan Hu, Jian Liu, Jingxiang Lai, Jiarui Hu, Yiwei Sheng, Shuang Chen, Jian Li, Dazhao Du, Song Guo·· 10 小时前AI 评分35
GUI 智能体中的强化学习综述：迈向数字居民
Reinforcement Learning in GUI Agents: A Survey Toward Digital Inhabitants
AI 导读
一篇发表于 TMLR 的综述首次系统梳理了强化学习与 GUI 智能体的交叉领域，将现有方法归纳为离线 RL、在线 RL 与混合策略三类。分析指出，可靠性与可扩展性的矛盾正推动复合多层奖励架构的采用，GUI I/O 延迟瓶颈加速了向世界模型训练的转移，且 System-2 式审慎推理会自发涌现。作者据此提出覆盖过程奖励、持续 RL、认知架构与安全部署的路线图。
正文 · AI 翻译
摘要：图形用户界面（GUI）智能体已成为一类颇具前景的智能系统范式，能够以视觉方式感知并与图形界面交互。然而，仅靠监督微调无法应对长时程信用分配、分布偏移以及不可逆环境中的安全探索问题，这使得强化学习（RL）成为推进自动化的核心方法。在本工作中，我们首次全面概述了 RL 与 GUI 智能体交叉领域的研究，并探讨了这一研究方向如何可能演化为数字居民。我们提出了一套有原则的分类体系，将现有方法组织为离线 RL、在线 RL 和混合策略，并辅以对奖励工程、数据效率和关键技术创新的分析。我们的分析揭示了若干新兴趋势：可靠性与可扩展性之间的张力正推动采用复合式、多层级的奖励架构；GUI I/O 延迟瓶颈正加速向基于世界模型的训练转变，这可以带来显著的性能提升；System-2 式审慎思考的自发涌现表明，当存在足够丰富的奖励信号时，显式推理监督可能并非必要。我们将这些发现提炼为一份路线图，涵盖过程奖励、持续 RL、认知架构和安全部署，旨在指导下一代稳健的 GUI 自动化及其智能体原生基础设施。
| 评论： | 发表于 TMLR。项目页面：此 https URL |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2604.27955 [cs.AI] |
| （或 arXiv:2604.27955v2 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2604.27955 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Transactions on Machine Learning Research, 2026 |
提交历史
来自：Junan Hu [查看邮箱]
[v1]
2026年4月30日 周四 14:51:49 UTC（7,378 KB）
[v2]
2026年11月4日 周三 02:44:36 UTC（7,383 KB）
来源：arXiv cs.AI · arxiv.org