用奖励加权传输蒸馏对齐一步生成模型

研究提出奖励加权传输蒸馏（RWTD），一种仅需生成样本和标量奖励评估的一步生成模型后训练方法。RWTD 不局限于对齐传统的奖励倾斜参考分布，而是构建一个自适应目标，将分别倾斜的当前分布与参考分布混合。该方法针对通用隐式生成器既无易处理似然也无去噪轨迹、且许多奖励不可微的后训练难题。