arXiv cs.AI· Junyi Wu, Weijian Luo, Haoyang Zheng, Ruizhe Zhang, Guang Lin·· 10 小时前AI 评分38
DIDR：基于扩散奖励的单步生成器强化学习对齐框架
Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL
AI 导读
研究者提出 Diff-Instruct with Diffused Reward（DIDR），一个从积分 KL 最小化推导的无数据轨迹级对齐框架，将 RLHF 最优的奖励倾斜干净图像分布沿扩散轨迹传播到所有噪声层级。DIDR 在单步 SDXL 基线上实现帕累托占优，迁移到 6B DiT 骨干（Z-Image）后仅需单步生成即超越其 50 步教师模型的偏好对齐表现。
正文 · AI 翻译
摘要：近期一步式文本到图像生成的进展使得实时合成在效率和品质上表现卓越。以往用于一步式生成器的强化学习方法将图像空间奖励优化与扩散噪声空间分布匹配相结合。由于终端奖励优化与底层生成动态之间的不匹配，这一范式带来了挑战。因此，优化倾向于利用随机自由度，往往以牺牲图像保真度为代价来提升奖励。为解决这一问题，我们提出 Diffused Reward 的 Diff-Instruct（DIDR），一个源自积分 KL 最小化的无数据轨迹级对齐框架。DIDR 沿扩散轨迹在所有噪声层级上传播 RLHF 最优的奖励倾斜干净图像分布。我们证明该目标与干净图像 RLHF 具有相同的最小化器，同时自然导出 Diffused Reward Score（DRS），它作为对参考分数函数的奖励驱动修正。为使其实用，我们进一步引入 Diffused Reward Proxy（DRP），一种基于可微短步去噪的 DRS 高效估计器。大量实验表明，DIDR 在帕累托意义上持续优于现有的一步式 SDXL 基线。此外，当迁移到 6B DiT 骨干（Z-Image）时，DIDR 在偏好对齐上超越了其 50 步教师模型，而仅需单步生成。代码：此 https URL
| 评论： | 33 页。更新了稿件和作者信息 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.24001 [cs.CV] |
| （或 arXiv:2605.24001v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.24001 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junyi Wu [查看邮箱]
[v1]
2026 年 5 月 18 日星期一 21:26:33 UTC（22,870 KB）
[v2]
2026 年 5 月 26 日星期二 04:35:31 UTC（22,871 KB）
[v3]
2026 年 11 月 10 日星期二 18:16:41 UTC（22,870 KB）
来源：arXiv cs.AI · arxiv.org