arXiv cs.AI· Brent Yi, Hongsuk Choi, Himanshu Gaurav Singh, Xiaoyu Huang, Takara E. Truong, Carmelo Sferrazza, Yi Ma, Rocky Duan, Pieter Abbeel, Guanya Shi, Karen Liu, Angjoo Kanazawa·· 3 天前AI 评分32
Flow Policy Gradients 如何用于机器人控制训练
Flow Policy Gradients for Robot Control
AI 导读
研究提出改进的 flow matching 策略梯度目标，绕过似然计算，使机器人控制策略可训练为更 expressive 的分布。该方法在腿足运动、人形动作跟踪和操作任务上均取得成功，并在两台人形机器人上实现稳健的 sim-to-real 迁移。消融分析显示，策略可从零训练时利用 flow 表示进行探索，微调鲁棒性也优于基线。
正文 · AI 翻译
作者：Brent Yi、Hongsuk Choi、Himanshu Gaurav Singh、Xiaoyu Huang、Takara E. Truong、Carmelo Sferrazza、Yi Ma、Rocky Duan、Pieter Abbeel、Guanya Shi、Karen Liu、Angjoo Kanazawa
摘要：基于似然的策略梯度方法是利用奖励训练机器人控制策略的主流方法。这些方法依赖可微的动作似然，从而将策略输出限制为高斯分布等简单分布。在本工作中，我们展示了流匹配策略梯度——一个近期提出的、绕过似然计算的框架——如何能够有效地用于在具有挑战性的机器人控制场景中训练和微调更具表现力的策略。我们引入了一个改进的目标函数，使其在足式运动、人形运动跟踪和操作任务中均能取得成功，并在两个人形机器人上实现了稳健的仿真到现实迁移。随后，我们给出了消融实验和对训练动态的分析。结果表明，策略在从零开始训练时能够利用流表示进行探索，并且相比基线方法具有更好的微调鲁棒性。
| 评论： | 项目网页：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.02481 [cs.RO] |
| （或 arXiv:2602.02481v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.02481 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Hongsuk Choi [查看邮箱]
[v1]
2026年2月2日星期一 18:56:49 UTC（10,944 KB）
[v2]
2026年10月13日星期二 08:31:31 UTC（16,799 KB）
来源：arXiv cs.AI · arxiv.org