arXiv cs.AI· Zhiyuan Zhou, Andy Peng, Charles Xu, Qiyang Li, Jost Tobias Springenberg, Kevin Frans, Sergey Levine·· 13 小时前AI 评分31
QGF：在测试时用价值梯度引导流策略的强化学习算法
Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning
AI 导读
研究者提出 QGF（Q-Guided Flow），一种完全在测试时完成策略优化的强化学习算法：先用行为克隆预训练参考流策略和价值函数 critic，测试时用价值梯度引导参考策略生成更高价值动作，无需额外策略学习。QGF 在高维动作空间的单任务与目标条件离线 RL 基准上优于此前的测试时 RL 方法，与 SOTA 训练时算法相当但运行成本低得多，并随模型规模扩大表现出更好的扩展性。
正文 · AI 翻译
摘要：富有表现力的连续控制策略（如扩散模型和流模型）构成了近期在模拟和真实机器人控制中扩展模仿学习进展的骨干。虽然已知它们在监督模仿学习环境中能够稳定扩展，但将其纳入用于策略改进的强化学习（RL）流程中已被证明更为困难。这通常需要专门的训练目标或通过去噪过程进行反向传播，从而导致众所周知的稳定性问题并影响可扩展性。在本文中，我们研究了这样一个问题：仅在测试时采用简单的策略改进方案，同时保持稳定的监督策略训练不变，能否成为一种具有竞争力的替代方案，从而规避这些问题。为此，我们提出了 QGF（Q-Guided Flow），一种完全在测试时进行策略优化的 RL 算法。QGF 的工作原理是：预先训练一个参考流策略（通过标准的行为克隆目标）和一个价值函数评论家，然后在测试时使用价值梯度引导参考策略生成更高价值的动作，而无需任何额外的策略学习。在实证上，QGF 在具有高维动作空间的单任务和目标条件离线 RL 基准上优于先前的测试时 RL 方法，并且与最先进的训练时算法相比具有竞争力，同时运行成本低得多。此外，它通过避免 actor-critic 训练的不稳定性，在模型规模上表现出良好的扩展性，为具有表现力策略的 RL 提供了一种实用且有效的替代算法。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.11087 [cs.LG] |
| （或 arXiv:2606.11087v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.11087 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhiyuan Zhou [查看电子邮件]
[v1]
2026年6月9日星期二 16:45:57 UTC（628 KB）
[v2]
2026年10月27日星期二 18:58:24 UTC（625 KB）
来源：arXiv cs.AI · arxiv.org