arXiv cs.AI· Jinmei Liu, Haoru Li, Zhenhong Sun, Chaofeng Chen, Yatao Bian, Bo Wang, Daoyi Dong, Chunlin Chen, Zhi Wang·· 13 小时前AI 评分31
DRIFT：缓解强化微调中多样性坍缩，提升图像生成多样性
Beyond the Dirac Delta: Mitigating Diversity Collapse in Reinforcement Fine-Tuning for Versatile Image Generation
AI 导读
针对强化微调中策略坍缩为 Dirac delta 分布的多样性坍缩问题，研究者提出 DRIFT 框架，从采样、提示词和优化三方面激励输出多样性。实验显示 DRIFT 在任务对齐与生成多样性上呈明显帕累托优势：对齐相同时多样性提升 3.88%~81.42%，多样性相同时对齐提升 14.38%~56.45%。代码已开源。
正文 · AI 翻译
摘要：强化学习（RL）已成为一种范式，用于微调大规模生成模型（如扩散模型和流模型），使其与复杂的人类偏好和用户指定的任务对齐。一个根本性局限仍然存在，即\textit{多样性崩溃的诅咒}，其中目标公式和优化景观本质上将策略坍缩为狄拉克δ分布。为应对这一挑战，我们提出\textbf{DRIFT}（\textbf{D}ive\textbf{R}sity-\textbf{I}ncentivized Reinforcement \textbf{F}ine-\textbf{T}uning for Versatile Image Generation），这是一个创新框架，在整个同策略微调过程中系统性地激励输出多样性，将强任务对齐与高生成多样性相协调，以增强对于需要多样化候选生成的应用至关重要的多功能性。我们从三个代表性视角来处理该问题：i）\textbf{采样}一个奖励集中的子集，过滤掉奖励异常值以防止过早崩溃；ii）\textbf{提示}使用随机变化来扩展条件空间，以及 iii）\textbf{优化}组内多样性，采用基于势能的奖励塑造机制。实验结果表明，DRIFT 在任务对齐和生成多样性方面表现出明显的帕累托优势，在匹配对齐度下实现 3.88\%$\sim$81.42\% 更高的多样性，在匹配多样性下实现 14.38\%$\sim$56.45\% 更高的对齐度。我们的代码可在 \textcolor{magenta}{\href{此 https URL}{此 https URL}} 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.12401 [cs.LG] |
| （或 arXiv:2601.12401v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.12401 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jinmei Liu [查看电子邮件]
[v1]
2026年1月18日星期日 13:25:43 UTC（18,311 KB）
[v2]
2026年8月5日星期三 11:59:05 UTC（26,051 KB）
[v3]
2026年10月27日星期二 13:20:56 UTC（28,703 KB）
来源：arXiv cs.AI · arxiv.org