arXiv cs.AI· Joseph Amigo, Rooholla Khorrambakht, Nicolas Mansard, Ludovic Righetti·· 3 天前AI 评分22
耦合局部与全局世界模型实现高效一阶强化学习
Coupled Local and Global World Models for Efficient First Order RL
AI 导读
研究者提出一种完全绕过模拟器的方法，直接在从真实机器人交互中学习的世界模型内训练 RL 策略。其核心是解耦一阶梯度（FoG）方法：全尺寸世界模型生成精确前向轨迹，轻量潜空间代理模型近似局部动力学以高效计算梯度。在 Push-T 操作任务上，该方法样本效率显著优于 PPO，并在四足机器人的自我中心物体操作任务中得到验证。
正文 · AI 翻译
摘要：世界模型为更忠实地捕捉复杂动力学（包括接触和非刚性）以及复杂感官信息（如视觉感知）提供了一条有前景的途径，尤其是在标准模拟器难以应对的情况下。然而，这些模型的计算评估成本很高，这对流行的强化学习方法构成了挑战——这些方法已成功与模拟器结合用于解决复杂的运动任务，但在操作任务上仍举步维艰。本文提出了一种完全绕过模拟器的方法，在从机器人与真实环境交互中学习到的世界模型内部训练强化学习策略。其核心在于，我们的方法通过一种新颖的解耦一阶梯度（FoG）方法，实现了基于大规模扩散模型的策略训练：完整规模的世界模型生成准确的前向轨迹，而轻量级的潜在空间代理模型则近似其局部动力学，以实现高效的梯度计算。这种局部与全局世界模型的耦合确保了高保真的展开以及计算上可行的微分。我们在 Push-T 操作任务上展示了该方法的有效性，其在样本效率上显著优于 PPO。我们进一步通过四足机器人的自我中心物体操作任务评估了我们的方法。这些结果共同表明，在数据驱动的世界模型内部学习是一条有前景的途径，可在图像空间中解决难以建模的强化学习任务，而无需依赖手工编写的物理模拟器。
| 评论： | 已被第 10 届机器人学习会议（CoRL 2026）接收。项目网站：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.06219 [cs.RO] |
| （或 arXiv:2602.06219v3 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.06219 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Joseph Amigo [查看电子邮件]
[v1]
2026 年 2 月 5 日星期四 21:57:41 UTC（8,562 KB）
[v2]
2026 年 6 月 1 日星期一 20:55:42 UTC（37,961 KB）
[v3]
2026 年 10 月 11 日星期日 21:41:24 UTC（26,535 KB）
来源：arXiv cs.AI · arxiv.org