arXiv cs.CL· Jaesang Yu, Seoyeon Byun, Yun Wang, Yan Lu, Juho Kim·· 12 小时前AI 评分34
Draft Refinement Language Models：用并行草稿精修替代扩散反向过程做推理
Breaking Diffusion: Parallel Reasoning with Draft Refinement
AI 导读
研究者提出 Draft Refinement Language Models（DRLM），用单个去噪器并行提出修订并评估候选草稿，通过校正自 token 证据得到一次前向即可计算的 cavity energy，仅保留能量更低的候选。
正文 · AI 翻译
摘要：起草答案使推理模型能够在其他决策的背景下重新考虑每个决策。然而，重复的扩散去噪并不能确保单独看似合理的 token 更新共同构成更好的答案。我们引入了草稿精炼语言模型（DRLM），它使用单个去噪器提出并行修订并评估候选草稿。我们训练去噪器从均匀损坏的草稿中重建每个 token，同时教授保留和修复。其预测直接指定修订，无需扩散逆向转移。评估需要以不同方式使用这些预测：对现有 token 的置信度既反映上下文支持，也反映观察 token 本身的证据。利用已知的损坏过程，我们校正这种自身 token 证据，以估计每个 token 受提示和剩余草稿支持的程度。聚合这些估计可在一次前向传递中计算出空腔能量，无需额外的评分模型。每一轮提出修订，在修订后的上下文中读取完成的候选，仅当其能量更低时才保留。在 Countdown、Sudoku-Extreme 和 Maze-Hard 上，我们的方法优于自回归和离散扩散基线。在 6M 参数下，DRLM 在 Countdown-5 上达到 44.4%，在 Sudoku-Extreme 上达到 93.9%。这些结果确立了完整草稿并行精炼作为复杂推理中逆向扩散的有效替代方案。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.26542 [cs.AI] |
| （或此版本的 arXiv:2610.26542v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.26542 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jaesang Yu [查看电子邮件]
[v1]
2026年10月19日星期一 15:02:45 UTC（586 KB）
来源：arXiv cs.CL · arxiv.org