arXiv cs.AI· Peitong Duan, Khashayar Gatmiry, Jeffrey Nichols, Samy Bengio, Emmanuel Abbe·· 13 小时前AI 评分55
面向实时 iOS 应用的在线密集强化学习与规划-定位智能体 UI 导航
Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live IOS Apps
AI 导读
论文提出一种在线强化学习框架，直接在实时 iOS 应用上训练 UI 导航智能体，将智能体拆分为规划智能体和 UI Grounding 模型两部分，并用 LLM-as-a-Judge 提供结合逐步密集反馈与任务完成终局奖励的信号，以 PPO 和逐步优势估计优化。
正文 · AI 翻译
摘要：尽管前沿视觉语言模型在用户界面（UI）导航方面展现出强大能力，但其高昂的推理成本阻碍了日常使用。相反，通过监督微调（SFT）或离线强化学习训练的较小模型往往记住静态轨迹，导致执行脆弱且无法从错误中恢复。为解决这些局限，我们提出了一种新颖的在线强化学习框架，直接在实时 iOS 应用上训练 UI 导航智能体。我们的框架将智能体解耦为两个专门组件：规划智能体和 UI 定位模型。我们依赖 LLM-as-a-Judge 提供全面的奖励信号，结合密集的步级反馈来评估中间进展，并以终端奖励衡量整体任务完成情况。为有效利用这种双重奖励结构，我们使用带有步级优势估计的近端策略优化（PPO）来优化智能体。此外，我们引入了 GiGPPO，一种新颖的邻居条件价值估计方法，通过利用并发轨迹中视觉相似状态的奖励信号来提高评论家稳定性。为大规模支持这种在线训练范式，我们引入了一种高效的基础设施，可编排数百个并发虚拟 iOS 设备。在严格基准（包括 UINavBench、iOSWorld 和 AndroidWorld）上的评估表明，我们在线 RL 训练的智能体显著优于 SFT 和仅终端奖励 RL 基线，同时加速了训练收敛。值得注意的是，我们的 8B RL 智能体在向 Android 环境的分布外泛化方面比 SFT 基线提升了近七倍，同时在真实 iOS 应用上优于 Gemini-3.5-Flash 并与 Gemini-3.1-Pro 持平。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39264 [cs.AI] |
| （或 arXiv:2610.39264v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39264 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Peitong Duan [查看电子邮件]
[v1]
2026年10月29日星期四 03:17:33 UTC（12,231 KB）
来源：arXiv cs.AI · arxiv.org