arXiv cs.AI· Likui Zhang, Zhe Zhu, Zhihao Zhan, Yibo Bai, Hanlin Wang, Dongwei Li, Bin Wang, Tianle Zhang, Xiaodan Liang, Liang Lin·· 12 小时前AI 评分31
AtomicRL：面向长程机器人操作的原子强化学习框架
AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation
AI 导读
AtomicRL 是一个面向 VLA 模型的强化学习后训练框架，通过原子任务结构实现可靠的信度分配与自适应探索。在 LIBERO-LONG 上，它相对 PPO 在两种 VLA 架构上分别取得 3.6% 和 4.0% 的绝对性能提升；在 CALVIN ABC-D 上全任务性能最高提升 9.5%。配合 Real2Sim2Real 流程，真实机器人任务性能平均提升 21.3%。
正文 · AI 翻译
摘要：视觉-语言-动作（VLA）模型在机器人操作中展现出潜力，但仅靠模仿学习（IL）往往难以掌握复杂的长时程技能。强化学习（RL）为进一步提升 VLA 策略提供了有效途径。然而，现有的 VLA-RL 方法通常因轨迹级稀疏奖励而面临延迟且有偏的信用分配问题，同时子任务掌握程度不均衡会造成瓶颈，限制整体性能。为应对这些挑战，我们提出 AtomicRL，一种利用原子任务结构实现可靠信用分配与自适应探索的 RL 后训练框架。AtomicRL 引入语义感知策略优化（SAPO），通过语义感知门控约束失败原子子任务的 TD 残差跨任务边界传播，在保留子任务内部信用分配与价值自举的同时缓解信用污染。此外，瓶颈自适应目标探索（BATE）根据各原子子任务的掌握程度动态协调任务采样与局部探索激励，将学习导向剩余的瓶颈。最后，我们开发了 Real2Sim2Real 流水线，将仿真中的在线 RL 与真实世界部署衔接起来，便于向物理机器人实际迁移。在 LIBERO-LONG 上，AtomicRL 在两种 VLA 架构上相较 PPO 分别取得 3.6% 和 4.0% 的绝对性能提升。在 CALVIN ABC-D 上，其全任务性能相较 PPO 最高提升 9.5%。结合 Real2Sim2Real 流水线，AtomicRL 进一步将真实世界任务性能平均提升 21.3%。这些结果表明，AtomicRL 有效提升了 VLA 策略在长时程任务上的学习效率与操作性能。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.30097 [cs.RO] |
| （或本版本使用 arXiv:2610.30097v1 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2610.30097 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Likui Zhang [查看邮箱]
[v1]
2026年10月21日星期三 17:45:24 UTC（5,593 KB）
来源：arXiv cs.AI · arxiv.org