arXiv cs.AI· Roy Miles, Aysim Toker, Andreea-Maria Oncescu, Jiankang Deng, Ismail Elezi·· 9 天前AI 评分23
扩散语言模型测试时扩展：通过奖励引导拼接实现推理增强
Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
AI 导读
研究者提出 Stitching Noisy Diffusion Thoughts 框架，用掩码扩散语言模型采样多条低成本推理轨迹，经过程奖励模型（PRM）逐步打分后跨轨迹拼接高质量步骤，再重算最终答案。
正文 · AI 翻译
摘要：使用大语言模型进行推理通常受益于生成多条思维链，但现有的聚合策略通常是轨迹级的（例如选择最佳轨迹或对最终答案投票），丢弃了来自部分或“接近正确”尝试的有用中间工作。我们提出 Stitching Noisy Diffusion Thoughts，一种自一致性框架，将廉价的扩散采样推理转化为可复用的步骤级候选池。给定一个问题，我们 (i) 使用掩码扩散语言模型采样许多多样、低成本的推理轨迹，(ii) 用现成的过程奖励模型（PRM）对每个中间步骤打分，(iii) 将这些跨轨迹的最高质量步骤拼接成复合推理链。然后使用该推理链仅重新计算最终答案。这种模块化流水线将探索（扩散）与评估和解决方案合成分离，避免单一的统一混合体，同时保持广泛的搜索。在数学推理基准上，我们发现步骤级重组在更难的问题上最有益，消融实验强调了最终求解器在将拼接但不完美的推理链转化为准确答案方面的重要性。使用低置信度扩散采样与并行、独立的 rollout，我们的免训练框架在六个数学和编码任务上平均准确率提升高达 23.8%。同时，相对于传统扩散模型（例如 Dream、LLaDA）和统一架构（例如 TiDAR），它实现了高达 1.8 倍的延迟降低。代码可在 this https URL 获取
| 评论： | NeurIPS 2026。代码可在 this https URL 获取 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.22871 [cs.CL] |
| （或 arXiv:2602.22871v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.22871 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Roy Miles [查看电子邮件]
[v1]
2026年2月26日星期四 11:08:39 UTC（1,868 KB）
[v2]
2026年10月8日星期四 14:44:44 UTC（1,854 KB）
来源：arXiv cs.AI · arxiv.org