arXiv cs.AI· Zhuguanyu Wu, Congjia Chen, Ruihao Gong, Yang Yong, Shiqiao Gu, Yi Xu, Xianglong Liu·· 1 天前AI 评分29
Geo-FSRL：为少步流模型强化学习优化随机策略几何
Optimizing Stochastic Policy Geometry for Few-Step Flow Reinforcement Learning
AI 导读
Geo-FSRL 通过最小化条件 KL 散度来选择少步流模型去噪转移中的随机策略，在保持系数的各向同性高斯转移族内得到唯一闭式解，并配合梯度尺度匹配推导出策略梯度与 KL 权重。该方法在 4 步设置下于图像和视频生成模型上最终奖励分数均高于 Flow-GRPO 与 Flow-CPS，训练沿用原始少步调度、推理保留确定性求解器。代码已公开。
正文 · AI 翻译
摘要：少步流模型通过少量大幅度的去噪过渡生成样本。将 GRPO 应用于此类模型需要在去噪过渡中引入随机性，而当单次过渡跨越较宽的噪声水平范围时，由此产生的随机策略的选择就成为优化中的主要因素。近期的构造将策略约束为保持目标流系数，但这一约束允许一族策略，且未提供在它们之间进行选择的准则。我们提出 Geo-FSRL（Geometry-Optimized Few-Step Reinforcement Learning，几何优化的少步强化学习），其构建基于一条选择原则：在固定的条件状态和时间步对下，选择使任意给定非零速度输出更新所诱导的条件 KL 散度最小的可行策略。在保持系数的各向同性高斯过渡族内，该准则简化为最小化单个标量几何因子，该因子决定了每次速度输出更新的条件 KL。同一因子还支配速度空间 Fisher 信息和条件过渡对数似然比方差。我们推导出该族内唯一的闭式优化器，它在所有非零更新幅度和方向上共享，其过渡系数由源噪声水平和目标噪声水平共同决定。由于最小化后的几何因子仍随时间步变化，我们进一步采用先前工作中的梯度尺度匹配，并推导出闭式策略梯度和 KL 权重，以归一化显式分数尺度和参考 KL 曲率。Geo-FSRL 在原始少步调度上训练，并在推理时保留确定性求解器。在 4 步设置下，我们的方法在图像生成和视频生成模型上均取得了比 Flow-GRPO 和 Flow-CPS 更高的最终奖励分数。代码见 此 https URL
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.41949 [cs.AI] |
| （或 arXiv:2610.41949v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.41949 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhuguanyu Wu [查看邮箱]
[v1]
2026年10月30日星期五 16:05:17 UTC（37,991 KB）
来源：arXiv cs.AI · arxiv.org