arXiv cs.AI· Chenxing Wei, Jiazhen Kang, Hong Wang, Jianqing Zhang, Hao Jiang, Xiaolong Xu, Ningyuan Sun, Ying He, F. Richard Yu, Yao Shu, Bo Jiang·· 12 小时前AI 评分27
LFPO：面向掩码扩散模型的 token 级策略优化与速度对齐
Efficient Token-Level Policy Optimization for Masked Diffusion Models via Velocity Alignment
AI 导读
研究者提出 Sequence Likelihood-Free Policy Optimization（LFPO），将扩散大语言模型（dLLM）的策略对齐转化为离散速度对齐，绕过序列级似然估计，用对比式 token 级更新直接优化去噪 logits。在推理与代码基准上，LFPO 的准确率匹配或超过基于似然的基线，同时显著加速推理，并可用更少的去噪迭代完成高质量采样。
正文 · AI 翻译
作者：Chenxing Wei、Jiazhen Kang、Hong Wang、Jianqing Zhang、Hao Jiang、Xiaolong Xu、Ningyuan Sun、Ying He、F. Richard Yu、Yao Shu、Bo Jiang
摘要：可验证奖励强化学习（RLVR）成功地在数学推理和代码生成等严谨领域中对自回归模型进行了对齐。然而，将 RLVR 应用于扩散大语言模型（dLLM）受到难以处理的序列级似然的阻碍，迫使现有方法依赖不稳定、高方差的近似。我们提出无序列似然策略优化（LFPO），这是一个高效的框架，通过将策略对齐表述为离散速度对齐来规避这一瓶颈。受连续流匹配启发，LFPO 避开轨迹级估计，直接通过对比式 token 级更新优化去噪 logits，提供了一种稳定、低方差的替代目标。此外，从中间状态预测终端解会隐式拉直生成轨迹，从而能够以显著更少的去噪迭代实现高质量采样。在推理和编码基准上的大量实验表明，LFPO 的准确率与基于似然的基线相当或更高，同时大幅加速推理。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.01563 [cs.LG] |
| （或 arXiv:2603.01563v3 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2603.01563 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chenxing Wei [查看邮箱]
[v1]
2026年3月2日星期一 07:42:55 UTC（272 KB）
[v2]
2026年9月27日星期日 05:00:38 UTC（300 KB）
[v3]
2026年10月27日星期二 16:51:22 UTC（300 KB）
来源：arXiv cs.AI · arxiv.org