arXiv cs.AI· Jiayuan Wang, Tongyao Pang·· 12 小时前AI 评分38
DiffusionRVGE：基于回归值梯度估计的扩散模型强化学习
DiffusionRVGE: Reinforcement Learning via Regression-Based Value Gradient Estimation
AI 导读
DiffusionRVGE 提出一种通过将中心化奖励回归到中心化最终去噪图像来构建更新方向的扩散模型强化学习方法，无需奖励导数，也无需沿采样轨迹做伴随反向传播。
正文 · AI 翻译
摘要：强化学习利用生成图像上的奖励来改进扩散模型，但重复去噪和梯度估计使训练代价高昂。我们提出 \method，这是一种高效方法，通过将中心化奖励回归到中心化最终去噪图像上来构建有用的更新方向。它既不需要奖励导数，也不需要沿采样轨迹进行伴随反向传播。一个统一的一阶变分表述在有或没有轨迹-KL 惩罚的情况下都能识别价值梯度目标。高斯加噪下的一种群体分析解释了回归几何，而子空间分析则启发了干净图像坐标。该实现根据奖励连续性调整 rollout 带宽和查询权重：局部 rollout 适合平滑奖励，而更广泛的组则为离散奖励提供有信息量的对比。在五个奖励上联合训练时，一个 SD3.5-Medium 模型在八项指标中的七项上达到或超过 DiffusionNFT 的联合模型，在约其估计训练计算量的五分之一下达到 GenEval $0.94$、OCR $0.92$ 和 PickScore $23.82$。在单奖励训练中，\method 在相同硬件上达到匹配奖励阈值的速度比复现的 DiffusionNFT 快 $2.1$--$6.7\times$。消融实验支持干净图像估计器、直接方向迁移和依赖奖励的 rollout 选择。代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22973 [cs.AI] |
| （或 arXiv:2610.22973v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22973 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tongyao Pang [查看电子邮件]
[v1]
2026年10月16日星期五 05:46:50 UTC（6,512 KB）
来源：arXiv cs.AI · arxiv.org