arXiv cs.AI· Ryan Gao, Ashvin Anilkumar, Nicholas Corrado, William Cong, Josiah Hanna·· 3 天前AI 评分38
无需高质量状态估计：NAO 机器人通过真实交互强化学习学会射门
Reinforcement Learning from Real-Robot Interaction without High-Quality State Estimates
AI 导读
研究者提出 RSSM-RLPD，让 NAO 机器人在无外部动捕或摄像头的情况下，仅靠机载无迹卡尔曼滤波（UKF）估计状态，学习带球射门。该方法用循环状态空间模型（RSSM）学习新状态表示，且仅在观测到球时修正隐状态。经过 30 分钟真实世界交互，机器人从多个起始位置学会射门，成功率达 100%，而同等训练预算下的前馈策略为 0%。
正文 · AI 翻译
摘要：机器人强化学习（RL）的一个长期目标，是让机器人像人类和动物一样从自身的物理经验中学习。直接从物理经验中学习的一个关键障碍——尤其是在非仪器化的实验室环境之外——在于世界的状态通常对学习器不可观测，必须通过机载传感来估计。该估计中的误差会同时破坏策略输入以及可能的奖励信号。我们通过一个接触丰富的任务来研究这一挑战：双足机器人学习射门得分。我们使用无迹卡尔曼滤波器（UKF）在机载端估计所有关键状态变量，且不使用任何外部仪器（例如动作捕捉或俯拍摄像机）。由于当球未被观测到时 UKF 可能会错误地估计状态，我们使用循环状态空间模型（RSSM）学习一种新的状态表示，其关键在于仅当球被观测到时才修正 RSSM 的隐状态。在 RLPD 的基础上，我们提出了 RSSM-RLPD，并将其应用于 NAO 机器人学习将足球带球射入球门的任务。我们表明，经过 30 分钟的真实世界交互后，机器人学会了从多个起始位置得分，在相同训练预算下达到 100% 成功率，而前馈策略为 0%。我们通过仿真研究补充了实体机器人实验，并表明 RSSM-RLPD 学到的策略比行为克隆、前馈和 GRU 基线取得更高的成功率。综上所述，我们的结果表明，将学习到的状态表示添加到现有的机器人上学习方法中，即使存在高度的部分可观测性，也能实现基于真实机器人数据的强化学习。
| 评论： | 9 页，7 幅图，提交至 ICRA 2027 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| ACM 分类： | I.2.9；I.2.10 |
| 引用为： | arXiv:2610.14042 [cs.RO] |
| （或 arXiv:2610.14042v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14042 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ashvin Anilkumar [查看电子邮件]
[v1]
2026 年 10 月 2 日星期五 21:59:06 UTC（544 KB）
来源：arXiv cs.AI · arxiv.org