arXiv cs.AI· Xule Gao, Xi Wang, Zehua Zang, Rui Wang, Changwen Zheng, Chuxiong Sun·· 6 天前AI 评分24
OGPO：面向可恢复 VLA 模型的离线目标条件策略优化
OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models
AI 导读
研究者提出 OGPO，一种面向可恢复 VLA 模型后训练的离线目标条件策略优化框架，将轨迹用语义关键状态重新标注并构建目标条件过程奖励，把后训练从轨迹级动作模仿转为关键状态可达性学习。
正文 · AI 翻译
摘要：视觉-语言-动作（VLA）模型在机器人操作中展现出强大潜力，但其后训练仍主要依赖于对机器人演示的轨迹级监督模仿。虽然这种范式能有效学习可行动作，但它监督策略在每一步复现专家动作，使策略偏向演示特定的动作路径，并且一旦执行偏离演示轨迹，对恢复至任务进展状态提供的指导有限。为解决这一局限，我们提出 OGPO，一种用于可恢复 VLA 后训练的离线目标条件策略优化框架。OGPO 不将离线演示仅视为逐步动作标签，而是用语义关键状态自适应地重新标注轨迹，并构建目标条件过程奖励，以优化策略到达这些任务进展状态。这样，OGPO 将 VLA 后训练从轨迹级动作模仿转变为关键状态可达性学习，使策略无需额外在线交互即可获得从可行的非演示状态完成目标状态的更鲁棒能力。在 LIBERO 和 MetaWorld 上的实验表明，OGPO 在标准监督微调基础上持续提升 VLA 策略性能。此外，在 LIBERO-Plus 和我们提出的 LIBERO-ReAct（一个执行中扰动基准）上的评估进一步表明，OGPO 在分布偏移和可恢复的非演示状态下实现了更强的鲁棒性和目标导向的可恢复性。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12914 [cs.AI] |
| （或 arXiv:2610.12914v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12914 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xule Gao [查看邮箱]
[v1]
2026年10月9日星期五 03:04:50 UTC（2,570 KB）
来源：arXiv cs.AI · arxiv.org