arXiv cs.AI· Yingqing Guo, Hui Yuan, Zijian He, Mengdi Wang, Zheng Ding·· 14 小时前AI 评分35
LC-GRPO：用 Langevin 校正弥合流模型 GRPO 的训练-推理差距
LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction
AI 导读
LC-GRPO 提出一种带 Langevin 校正的流模型 GRPO 框架，每次 rollout 先走与推理对齐的 ODE Euler 步，再做一次随机 Langevin 校正，所需 score 直接从流速度恢复，无需额外 score 模型。
正文 · AI 翻译
摘要：基于流的生成模型通常通过求解确定性常微分方程（ODE）进行采样，而强化学习（RL）需要随机 rollout 来进行探索和优化。因此，现有的流模型在线 RL 方法在训练期间用随机微分方程（SDE）替代推理时的 ODE。尽管 ODE 和 SDE 在连续时间下具有相同的边缘分布，但在有限步离散化后它们的行为可能不同。特别是，随着探索噪声增加，SDE rollout 往往变得模糊，造成训练 rollout 与推理时 ODE 样本之间的不匹配。我们提出 LC-GRPO，一种带有 Langevin 校正的基于流的 GRPO 框架。每次 rollout 转移先执行与推理对齐的 ODE Euler 步，然后进行针对所得时间步边缘分布的随机 Langevin 校正。所需的 score 直接从流速度中恢复，无需额外的 score 模型，同时转移保持为各向同性高斯分布且似然可处理。我们从理论上证明，在适当条件下，单步 Langevin 校正可减小不完美 ODE Euler 步的误差，并且在随机性匹配时，比反向 SDE 的标准 Euler--Maruyama 离散化产生更准确的转移。此外，在 SD3.5-Medium、FLUX.1-Dev 和 HunyuanVideo 上的实验表明，LC-GRPO 在文本到图像和文本到视频任务中持续改进奖励优化，保持生成质量，并大幅缩小随机训练 rollout 与确定性 ODE 推理之间的差距。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2608.05600 [cs.LG] |
| （或 arXiv:2608.05600v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.05600 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yingqing Guo [查看电子邮件]
[v1]
2026年8月6日星期四 04:47:57 UTC（31,642 KB）
[v2]
2026年10月25日星期日 23:17:58 UTC（24,850 KB）
来源：arXiv cs.AI · arxiv.org