arXiv cs.AI· Zongyao Zhao, Cheng-Jie Zhao, Ruihang Jiang, Bing Zheng, Zhaolin Wang, Yuanwei Liu·· 11 小时前AI 评分29
Martingale GRPO：为 VLA 强化学习按错误区间截断失败反馈
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
AI 导读
针对 GRPO 将单条轨迹级优势分配给所有动作、导致恢复尝试被一并惩罚的问题，研究者提出 MART-GRPO，用微调后的 VLM 在完整 rollout 视频中定位最后一个未被恢复的错误，仅保留该错误区间内的失败反馈。在 RoboTwin 2.0 上以 OpenVLA-OFT 实验，MART-GRPO 在多项任务上成功率超过全轨迹 GRPO。
正文 · AI 翻译
摘要：一次失败的视觉-语言-动作（VLA）执行并不意味每个动作都导致了失败。然而在组相对策略优化（GRPO）中，整条轨迹级别的优势值被分配给一次执行中的所有动作。因此，潜在有用的恢复尝试可能与其试图纠正的错误一起被惩罚。利用成功概率与策略得分鞅刻画了失败反馈的理想停止条件。在这些停止点，给定保留信息时，被移除的梯度贡献的条件期望为零。因此截断保持了参考 GRPO 组梯度估计器的期望，并可降低其协方差。其中一种停止发生在条件成功概率为零时，这启发了用于选择候选反馈边界的错误与恢复线索。提出了鞅 GRPO（MART-GRPO），使用视觉-语言模型（VLM）进行事件引导的截断。该 VLM 使用低秩适配（LoRA）在我们的标注训练集上微调。在完整执行视频中，由冻结的 VLM 定位最后一个未观察到恢复的可见错误。失败反馈在选定的错误区间内保留，之后移除，同时保留成功执行损失项和原始损失归一化。对于回溯边界，分析期望与方差的变化以评估偏离理想停止的程度。在 RoboTwin 2.0 上使用 OpenVLA-OFT 的实验表明，MART-GRPO 在多个任务上相比全轨迹 GRPO 提高了成功率。
| 评论： | 31 页，9 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32431 [cs.AI] |
| （或 arXiv:2610.32431v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32431 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zongyao Zhao [查看邮箱]
[v1]
2026年10月23日星期五 09:56:27 UTC（5,253 KB）
来源：arXiv cs.AI · arxiv.org