arXiv cs.AI· Kwanyoung Kim·· 14 小时前AI 评分31
VaLoP：用价值梯度前瞻与回拉改进奖励引导扩散模型
VaLoP: Value Gradient Lookahead and Pullback for Reward-Guided Diffusion
AI 导读
研究者提出 VaLoP（Value Gradient Lookahead and Pullback），通过在前一步噪声更小的状态上评估价值函数并把梯度回拉到当前状态，修正奖励引导扩散采样中高噪声阶段的价值梯度误差。
正文 · AI 翻译
摘要：奖励引导在采样时引导预训练的扩散模型或流模型朝向奖励模型偏好的图像或动作，而无需针对每个奖励重新训练模型。它沿着价值函数的梯度进行，即给定噪声状态下的期望奖励。该梯度的两种常见估计——通过一步去噪估计的梯度和学习到的价值模型——在高噪声下最不准确，而样本的粗略结构正是在高噪声下决定的。有趣的是，我们发现这两种误差都是后验协方差，它们随着对干净样本的不确定性而增大，因而在更高噪声下也更大。为减小这些误差，我们在噪声更小的状态（即采样器向前一步的状态）上评估价值，此时不确定性更小，并将其梯度拉回当前状态。这种前瞻将两种估计器置于同一族的两端，并揭示出中间程度的前瞻需要一个额外项，即通过生成器的校正。因此，我们提出价值梯度前瞻与拉回（VaLoP），它用一个向量-雅可比积计算该校正；以及 VaLoP-Fast，它用一个小型头网络对该校正进行摊销，对于文本到图像模型，该头网络用单个奖励训练并可复用于其他奖励。在各种模型、奖励和基准数据集上，两者在目标奖励上均稳健地优于现有的价值梯度引导，VaLoP-Fast 的成本约为学习价值引导的成本。两者均可扩展到评论家引导的机器人策略，其中 VaLoP-Fast 在 LIBERO 和 RoboCasa 上取得了最高的成功率。
| 评论： | 35 页。项目页面：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35607 [cs.AI] |
| （或 arXiv:2610.35607v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35607 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kwanyoung Kim 教授 [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 15:29:55 UTC（9,445 KB）
来源：arXiv cs.AI · arxiv.org