arXiv cs.AI· Hongeun Kim, Jeongsol Kim, Jong Chul Ye·· 11 小时前AI 评分31
LeNO：为少步生成模型学习噪声优化实现奖励对齐
Learning Noise Optimization for Reward Alignment in Few-Step Generative Models
AI 导读
LeNO 将奖励引导的初始噪声优化摊销为学习式残差传输，预训练生成器保持冻结，用 Local GRPO 和标量奖励学习以锚点为条件的噪声修正分布，推理时无需迭代搜索。针对高斯初始噪声与保范投影，作者推导出修正噪声分布与原始先验之间 KL 散度的可处理上界，作为正则化目标。在少步文本生图与蛋白质结构生成任务上，LeNO 仅需单次噪声修正即可提升目标奖励，同时基本保持生成质量与多样性。
正文 · AI 翻译
摘要：扩散模型和流式生成模型的奖励对齐通常是在随机轨迹上构建的，因此不太适合少步确定性生成器。初始噪声优化提供了一种无需轨迹的替代方案，但现有的无梯度方法在推理时需要对每个样本进行昂贵的搜索。我们提出 LeNO（Learning Noise Optimization），它将奖励引导的初始噪声优化摊销为学习到的残差传输，同时保持预训练生成器冻结。LeNO 使用 Local GRPO 和标量奖励学习以锚点为条件的噪声修正分布，从而消除迭代式测试时优化。对于具有保范投影的高斯初始噪声，我们推导出修正后噪声分布与原始先验之间 KL 散度的可处理上界，从而提供了一个有原则的正则化目标。我们在少步文本到图像和蛋白质结构生成（包括昂贵的黑盒可设计性奖励）上评估了 LeNO。在这两个领域中，LeNO 在推理时通过单次噪声修正提高了目标奖励，同时基本保持了生成质量和多样性。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.06255 [cs.LG] |
| （或 arXiv:2611.06255v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06255 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jeongsol Kim [查看电子邮件]
[v1]
2026年11月4日星期三 10:06:32 UTC（7,079 KB）
来源：arXiv cs.AI · arxiv.org