arXiv cs.AI· Jaehyeon Kim, Ziseok Lee, Siyoung Choi, Kyungsu Kim·· 2 天前AI 评分31
VISTA：为离散扩散模型加速 SMC 引导的值信息调度裁剪
Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion
AI 导读
VISTA 是一种免训练方法，可在固定预算下自动选择离散扩散模型的引导时间步，将稀疏引导建模为对理想全引导概率路径的近似，并用少量全引导预热生成的价值统计通过动态规划精确求解。
正文 · AI 翻译
摘要：奖励引导的离散扩散能够在下游目标下实现测试时对齐，但在每个去噪步骤都应用序贯蒙特卡洛（SMC）引导在计算上代价高昂。主动引导步骤需要额外的奖励评估，并且对于基于梯度的提议，还需要值梯度计算。稀疏引导通过仅引导一部分时间步来降低这一成本，但常用的调度是固定的启发式方法，其有效性在不同任务间可能差异很大。我们提出 VISTA，一种无需训练的方法，可在固定预算下自动选择引导时间步。VISTA 将稀疏引导表述为对理想全引导概率路径的近似，并推导出 \(\ell_1\) 路径偏差的可估计上界。利用从少量全引导预热生成中收集的值统计量，VISTA 通过动态规划精确优化由此得到的经验代理目标。预热生成可以保留为模型输出，并且在调度选择之后，VISTA 具有与其他相同预算的稀疏调度相同的每次生成引导复杂度。在文本、生物序列和图像生成任务中，VISTA 发现了依赖于任务的调度，并在大多数测试设置中优于手工设计的稀疏调度，同时在若干任务指标上接近或超过全引导性能。例如，在有毒文本生成中，VISTA 达到了 0.99 的唯一有毒比例，而全引导为 1.00，同时将选择后每次生成的延迟从 204.23 秒降低到 38.16 秒，实现了 5.35$\times$ 的加速。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20669 [cs.AI] |
| （或 arXiv:2610.20669v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20669 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaehyeon Kim [查看电子邮件]
[v1]
2026年10月14日星期三 10:49:59 UTC（1,419 KB）
来源：arXiv cs.AI · arxiv.org