arXiv cs.AI· Richard Lee Kim, Yeongmin Kim, Gyuwon Sim, Taekyu Kim, Minsang Park, Il-chul Moon·· 10 天前AI 评分25
BoNG：面向测试时扩散模型对齐的 Best-of-N 引导方法
Best-of-$N$ Guidance for Test-time Diffusion Alignment
AI 导读
研究者提出 Best-of-N Guidance（BoNG），将 BoN 采样原理直接融入反向扩散过程，通过对去噪粒子进行在线 BoN 选择并引入非对称引导交互，将粒子群导向高奖励区域。
正文 · AI 翻译
摘要：扩散模型具有强大的生成性能，但往往难以使生成的样本与奖励模型衡量的人类偏好保持一致。一种简单而有效的测试时对齐算法是 Best-of-$N$（BoN）采样，它从预训练的扩散模型中抽取 $N$ 个独立同分布样本，并输出奖励最高的单个样本。尽管在经验上取得了成功，但 BoN 对奖励信息的利用有限，因为奖励仅在最终选择阶段被纳入，而不会影响采样过程中的反向扩散轨迹。因此，BoN 采样并不能提升生成样本的平均对齐程度，主要适用于单输出场景。我们提出了 Best-of-$N$ Guidance（BoNG），这是一种将 BoN 采样原理直接融入反向扩散过程的新方法。BoNG 对去噪粒子执行在线 BoN 选择，并调整反向扩散过程，以在生成过程中将粒子群引导至更高奖励区域。具体而言，通过在去噪粒子之间引入非对称引导交互，BoNG 将当前 BoN 粒子作为引导信号传递给其余粒子群。这种粒子级交互重塑了采样过程，使其朝向更高奖励区域，使 BoNG 不仅能提升最终最佳样本（超越 Vanilla BoN 采样），还能提升生成样本的平均质量。在 36 项实证比较中，BoNG 在 29 项中取得最佳性能，在与 SMC 和 Vanilla BoN 采样的比较中，80.56% 的情况下排名第一。BoNG 还支持多输出能力，以 1.6$\times$ 的加速实现了最新基于样本的引导方法 1.3$\times$ 的 ImageReward 分数。我们在 此 https URL 发布了代码。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.05108 [cs.LG] |
| （或 arXiv:2610.05108v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05108 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Richard Lee Kim [查看电子邮件]
[v1]
2026年10月4日星期日 10:35:32 UTC（40,380 KB）
[v2]
2026年10月6日星期二 07:19:42 UTC（2,042 KB）
来源：arXiv cs.AI · arxiv.org