arXiv cs.AI· Zhiyuan Ma, Jiabao Wei, Tianyu Wang, Hanqing Wang, Jiadong Pan, Haowen Xu, Liangliang Zhao, Ruixun Liu, Yuhan Wang, Yuwei Zhang, Liang Feng, Junhao Xiao, Kaiyan Zhang, Xuekai Zhu, Daizong Liu, Biqing Qi, Yihao Liu, Ganqu Cui, Ning Ding, Linfeng Zhang, Jianjun Li, Kun He, Xiang Bai, Bowen Zhou·· 2 天前AI 评分24
强化学习驱动的扩散模型：语言、视觉及更多领域的综述
Reinforcement Learning-driven Diffusion Models: Language, Vision, and Beyond
AI 导读
这篇综述首次系统梳理了强化学习驱动的扩散模型（RL-driven DMs），探讨 RL 如何将扩散过程重塑为以经验为中心、目标导向的生成方式，覆盖语言、多模态、机器人和科学模型。作者在多个任务基准上评估了代表性方法，并指出奖励设计脆弱、高维生成空间中的探索-利用权衡、稀疏奖励下训练不稳定三大落地瓶颈。论文已被 TPAMI 接收，并构建了公开仓库持续追踪该领域进展。
正文 · AI 翻译
作者：Zhiyuan Ma、Jiabao Wei、Tianyu Wang、Hanqing Wang、Jiadong Pan、Haowen Xu、Liangliang Zhao、Ruixun Liu、Yuhan Wang、Yuwei Zhang、Liang Feng、Junhao Xiao、Kaiyan Zhang、Xuekai Zhu、Daizong Liu、Biqing Qi、Yihao Liu、Ganqu Cui、Ning Ding、Linfeng Zhang、Jianjun Li、Kun He、Xiang Bai、Bowen Zhou
摘要：扩散模型（DM）遵循 LLM 中确立的“预训练-微调”范式，在多样化场景下的高保真、可控生成中持续展现出卓越性能。尽管取得了这些进展，传统 DM 在复杂推理、生成路径的自主探索以及对复杂、与人类对齐目标的适应性方面仍面临关键局限。受 RLHF 在 LLM 中成功的启发，RL 近来已成为一种关键的后训练机制，通过奖励驱动的轨迹优化迭代改进 DM。本文首次对 RL 驱动的 DM 进行了全面综述，并对 RL 如何重塑扩散过程、使其朝向以经验为中心、目标导向的生成进行了实证分析。我们提出了一种新颖的技术全景图，阐明 RL 在基于扩散的语言、多模态、机器人和科学模型中的多方面作用，并细致聚焦于扩散轨迹优化和奖励工程。通过在多个特定任务基准上的大量实验，我们系统评估了代表性方法，以直观凸显不同 RL 后训练策略的优势。此外，我们揭示并剖析了当前阻碍 RL 驱动 DM 实际部署的三个关键瓶颈：奖励设计的脆弱性、高维生成空间中的探索-利用权衡，以及稀疏奖励下的训练不稳定性。基于这些观点，我们为将 RL 集成到 DM 中提供了有原则的路线图，并概述了构建稳健、可解释的 RL-扩散系统的有前景的未来研究方向。我们还构建了一个公共代码库，以持续跟踪这一快速演进领域的最新进展：此 https URL。
| 评论： | 26 页，12 幅图，8 张表，被 TPAMI 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21539 [cs.AI] |
| （或 arXiv:2610.21539v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21539 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiabao Wei [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 09:05:38 UTC（37,109 KB）
来源：arXiv cs.AI · arxiv.org