arXiv cs.AI· Carl Qi, Weijun Dong, Xiaojie Wang, Peiyi Chen, Rahul Sajnani, Mingyuan Zhang, Amy Zhang, Jose Barreiros, Manikatan Nambi, Lillian J. Ratliff, Dylan Randle·· 11 小时前AI 评分34
AnchorQ：用流反转动作锚点实现样本高效的强化学习策略改进
Sample-Efficient Reinforcement Learning for Policy Improvement via Flow-Reversed Action Anchors
AI 导读
AnchorQ 通过流反转将参考行为映射为状态条件化的隐式锚点，并在锚点周围采样局部粒子、用价值引导采样探索更优动作，实现由粗到细的策略改进。在相同交互预算下，该方法在仿真与真实机器人操作任务中均优于现有后训练基线，真实世界成功率提升 37%，仿真任务吞吐量提升 97%。
正文 · AI 翻译
作者：Carl Qi、Weijun Dong、Xiaojie Wang、Peiyi Chen、Rahul Sajnani、Mingyuan Zhang、Amy Zhang、Jose Barreiros、Manikatan Nambi、Lillian J. Ratliff、Dylan Randle
摘要：通用机器人策略提供了强大的行为先验，但实现部署级别的可靠性和吞吐量仍然困难。强化学习（RL）可以改进这些策略，但其有效性受限于在线交互的成本。现有方法通过将噪声空间视为连续动作空间来适配冻结的流匹配策略。我们表明，这种行为上无结构的空间使探索效率低下，往往使这些方法无法在具有挑战性的任务上提取有意义的学习信号。我们提出 AnchorQ，它通过结构化、可细化的潜在动作表示实现由粗到细的策略改进。在每个决策步骤，AnchorQ 使用流反转将参考行为映射为状态条件潜在锚点，在这些锚点周围采样局部粒子，并应用价值引导采样来探索有前景的细化。我们的分析表明，锚点以支持偏差为代价降低了识别复杂度；粒子细化在这种偏差与动作类复杂度之间进行权衡；而评论家准确性决定了 KL 正则化、价值引导选择的可靠性。在模拟和真实世界操作任务中，AnchorQ 在样本效率上优于最先进的后训练基线，在相同交互预算下，真实世界成功率提升 37%，模拟任务吞吐量提高 97%。更多可视化内容可在我们的网站 this https URL 上获取。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22852 [cs.RO] |
| （或 arXiv:2610.22852v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22852 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Carl Qi [查看电子邮件]
[v1]
2026年10月16日星期五 02:51:48 UTC（7,152 KB）
来源：arXiv cs.AI · arxiv.org