arXiv cs.AI· Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang·· 12 小时前AI 评分44
RePO-VLA：面向视觉-语言-动作模型的恢复驱动策略优化框架
RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models
AI 导读
RePO-VLA 是一个恢复驱动策略优化框架，将成功、恢复与失败轨迹赋予不同角色，通过 Recovery-Aware Initialization、Progress-Aware Semantic Value Function 和 Value-Conditioned Refinement 学习从失败状态回归成功流形。
正文 · AI 翻译
作者：Weijia Liufu、Xiaoyu Guo、Ruiyi Chen、Jingzhi Liu、Kaidong Zhang、Xiwen Liang、Jianqi Lin、Dawei Sun、Yuze Wang、Rongtao Xu、Bingqian Lin、Bowen Yang、Tongtong Cao、Bowen Peng、Dongyu Zhang、Guangrun Wang、Min Wang、Liang Lin、Xiaodan Liang
摘要：视觉-语言-动作（VLA）模型在长时程、接触密集的操作任务中仍然表现脆弱，因为仅以成功为目标的模仿学习难以为执行漂移提供监督，而失败的 rollout 往往被丢弃。我们提出 RePO-VLA，一个由恢复驱动的策略优化框架，为成功、恢复和失败轨迹分配不同的角色。RePO-VLA 首先采用恢复感知初始化（RAI），将每个纠正性后缀切分为新的回合，使纠正动作依赖于当前的不利状态而非先前的失败。随后，它学习进度感知语义价值函数（PAS-VF），将时空轨迹特征与指令及成功参考对齐。由此得到的标签通过可靠性衰减挽救有用的失败前缀，而低价值标签则标记漂移和终局崩溃，从而教会模型区分正常、失败和纠正动作。数据引擎将不利状态转化为由规划器生成或人工采集的纠正性 rollout，教会模型向成功流形恢复。价值条件精炼（VCR）训练策略偏好高进度动作。在部署时，一个固定的高价值 token 使动作偏向已学习到的成功流形，无需在线失败检测器或启发式重试。我们提出了失败恢复基准（FRBench），包含标准化的错误注入和以恢复为重点的评估。在仿真和真实世界的双臂任务中，RePO-VLA 提升了鲁棒性，将对抗性成功率平均从 20% 提升至 75%，在规模化真实世界试验中最高可达 80%。代码和视频结果见 此 https URL。
| 注释： | 已被 NeurIPS 2026 接收。Weijia Liufu 和 Xiaoyu Guo 贡献相同。Xiaoyu Guo 为项目负责人。Liang Lin 和 Xiaodan Liang 为共同通讯作者。已更新为相机就绪版本 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.09410 [cs.RO] |
| （或本版本使用 arXiv:2605.09410v2 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2605.09410 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaoyu Guo [查看邮箱]
[v1]
2026年5月10日星期日 08:24:05 UTC（6,328 KB）
[v2]
2026年10月26日星期一 18:36:06 UTC（6,342 KB）
来源：arXiv cs.AI · arxiv.org