arXiv cs.AI· Vaibhav Singh, Eugene Belilovsky·· 3 天前AI 评分31
PACT：沿自身生成路径对扩散语言模型做 RL 后训练
RL Post-Training Diffusion Language Models Along Their Own Generation Paths
AI 导读
针对扩散语言模型 RL 后训练中的"轨迹盲区"问题，研究者提出 PACT（Potential-Anchored Consistency of Transitions），联合学习策略与对每个中间状态打分的标量势函数，并以终端奖励锚定，无需序列似然估计或重要性比率裁剪。
正文 · AI 翻译
摘要：扩散语言模型是自回归模型的一种有前景且更高效的替代方案。然而，大多数 RL 后训练技术不易适配这类模型。一个问题是，扩散语言模型通过许多中间状态生成答案，在每一步决定揭示哪些被掩码的位置以及在其中放置哪些 token。在此设置中使用的许多现有 RL 方法要么近似难以处理的序列似然，要么以相同的优势对每个去噪步骤加权，而没有明确区分去噪轨迹的这些中间状态如何影响期望奖励。为了解决这种轨迹盲视问题，我们引入了 PACT（Potential-Anchored Consistency of Transitions）。受奖励倾斜参考分布的启发，PACT 联合学习策略和一个标量势函数，该势函数对每个中间状态进行评分，并以终端奖励为锚。对于每个采样的去噪转移，一致性损失将已揭示 token 的策略与参考对数概率比与该势函数的变化相匹配。该公式既不需要序列似然估计，也不需要重要性比率裁剪。在四个任务上，PACT 将 LLaDA-8B-Instruct 提升了 GSM8K 上 +9.9 分、MATH500 上 +12.0 分、Countdown 上 +55.7 分、Sudoku 上 +72.6 分，并达到了该模型所报告的四个任务上的最佳平均准确率，比次优方法高 +3.7 分。进一步与 AGRPO 相比，它在 GSM8K 上以约一半的训练算力达到了该基线的最佳准确率。
| 评论： | 9 页，6 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17266 [cs.AI] |
| （或 arXiv:2610.17266v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.17266 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vaibhav Singh [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 18:22:12 UTC（551 KB）
来源：arXiv cs.AI · arxiv.org