arXiv cs.AI· Yuhan Wang, Ruiyang Wang, Jiaguan Zhu·· 23 小时前AI 评分31
Outcome-Balanced PPO 与策略诱导流矫正:面向流式 VLA 策略的强化学习框架
Outcome-Balanced PPO and Policy-Induced Flow Rectification for Flow-Based VLA Policies
AI 导读
研究提出一种结合 Outcome-Balanced PPO 与策略诱导流矫正的强化学习框架,用于流式 VLA 策略的后训练。Outcome-Balanced PPO 利用任务成功率估计对正优势重加权,并在保持符号的前提下缩放正负优势;流矫正则周期性对当前策略生成的 ODE 端点对拟合线性桥流。在模拟操作基准上,该框架成功率优于所评估的基线,并在 Real2Sim2Real 任务中考察了组件组合。
正文 · AI 翻译
摘要:强化学习(RL)通过环境交互优化期望任务回报,从而实现对基于流的视觉-语言-动作(VLA)策略的后训练。然而,这种优化带来了两个挑战:策略更新可能改变用于随机转移的分数近似所依赖的速度场几何结构,而稀疏的多任务 rollout 可能导致不同任务和优势符号之间的学习信号不均衡。我们提出了一个 RL 框架,将结果均衡近端策略优化(PPO)与策略诱导的流校正相结合。结果均衡 PPO 使用任务成功率估计对正优势进行重加权,并在保持符号不变的情况下对正负优势进行重新缩放。策略诱导校正定期将线性桥接流拟合到由当前策略生成的 ODE 端点对,刷新后续随机优化中使用的表示。我们在模拟操作基准上评估了该框架,并额外在 Real2Sim2Real 任务中研究了组件组合,考察任务性能、优化行为和流一致性。所提出的框架在模拟基准上相比所评估的基线提高了成功率。
| 评论: | 15 页 |
| 主题: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22878 [cs.AI] |
| (或 arXiv:2611.22878v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22878 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yuhan Wang [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 14:52:57 UTC(820 KB)
来源:arXiv cs.AI · arxiv.org