arXiv cs.AI· Yuanzhi Zhu, Eleftherios Tsonis, Simo Alami Chehboune, Xi Wang, St\'ephane Lathuili\`ere, Vicky Kalogeiton·· 12 小时前AI 评分39
DualHeads：让少步扩散模型的奖励对齐变得简单
DualHeads: Reward-tilted few-step diffusion made simple
AI 导读
DualHeads 用两个二分类头在冻结的扩散骨干上实现少步生成器的奖励对齐，仅依赖外部奖励评估和参考样本。奖励头学习同一提示词下哪些样本得分更高，参考头区分参考图与生成图，生成器最大化两者 logits 的加权和。在规则奖励和模型奖励下，少步 DualHeads 生成器的任务奖励接近 40 步强化学习方法，且保持图像质量、不增加推理成本。
正文 · AI 翻译
摘要：蒸馏扩散模型能在少量采样步骤内生成高质量图像，但要让它们与任务要求和人类偏好对齐却很困难。为多步扩散模型开发的方法依赖于可微奖励，或依赖于蒸馏生成器可能不具备的分数场和随机轨迹。我们探究仅使用外部奖励评估和参考样本能否适配少步生成器，并证明两个二分类器就足够了。我们的方法 DualHeads 将它们实现为冻结扩散骨干网络上的轻量级头。奖励头学习同一提示下哪些样本得分更高，参考头将参考图像与生成图像区分开，生成器则最大化二者 logits 的加权和。当头最优时，该目标即为对所学奖励的 KL 正则化最大化，而头权重的比值决定了正则化强度。在实验中，无论使用基于规则还是基于模型的奖励，少步 DualHeads 生成器都能达到接近 40 步强化学习方法的任务奖励，同时保持图像质量，且不增加额外推理成本。我们希望这一简洁优雅的双头公式能有助于推进少步奖励倾斜生成的研究。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28858 [cs.CV] |
| （或 arXiv:2610.28858v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28858 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuanzhi Zhu [查看邮箱]
[v1]
2026年10月20日星期二 19:31:03 UTC（23,800 KB）
来源：arXiv cs.AI · arxiv.org