Best-of-N 引导的测试时扩散模型对齐

针对扩散模型难以对齐人类偏好的问题，研究提出 Best-of-N 引导的测试时对齐方法，通过在反向扩散轨迹中引入奖励信息，突破传统 BoN 采样仅在最终选择阶段使用奖励的局限。传统 BoN 从预训练扩散模型独立采样 N 个样本后仅输出最高奖励样本，未在采样过程中影响扩散轨迹。