让 Diffusion LLM 多走几步：RePara 强化并行生成能力

A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs

AI 导读

针对扩散大语言模型在固定配额评估下数学与代码得分严重下滑（每步 16 token 时全部低于 15%）的问题，研究者提出 RePara，通过组相对策略优化强化短连续 token 块，并降低 rollout 与 log-probability 重算开销。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：并行生成被广泛认为是扩散大语言模型的固有优势。然而，我们对四个代表性模型进行的固定配额评估显示，其在数学和代码任务上出现严重退化，在每步 16 个 token 时所有得分均低于 15%。Token 级探测在观测到的前缀附近识别出局部预测潜力，尤其是在数学文本中。我们提出 RePara，它通过组相对策略优化强化短的连续 token 块，并降低 rollout 和对数概率重计算成本。在 LLaDA 和 SDAR 上，\ours 在降低去噪预算的情况下，将 GSM8K 和 MATH-500 准确率提升至超过 JustGRPO，在我们的 LLaDA/MATH 设置中实现了 1.96 倍的训练步加速。

学科：	机器学习（cs.LG）；人工智能（cs.AI）
引用为：	arXiv:2610.18200 [cs.LG]
	（或 arXiv:2610.18200v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.18200 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Jiahao Kuang [查看邮箱]
[v1] 2026年10月13日星期二 11:37:04 UTC（424 KB）

来源：arXiv cs.AI · arxiv.org