Nemotron-Labs-Sigma：3B/8B 大规模连续扩散语言模型

作者：Zhihan Yang、Wei Guo、Jean-Marie Lemercier、Simon Welker、Mohammad Mahdi Kamani、Yonggan Fu、Sajad Norouzi、Julius Berner、Tomas Geffner、Karsten Kreis、Yongxin Chen、Molei Tao、John Thickstun、Pavlo Molchanov、Ante Jukić、Arash Vahdat、Morteza Mardani

查看 PDF HTML（实验性）

摘要：尽管离散扩散语言模型（dLM）在快速并行解码方面取得了成功，但其非平滑的高维空间阻碍了面向推理与推理加速的轨迹引导。为克服这一局限，我们提出 Nemotron-Labs-Sigma，这是首个基于可引导、低维 ODE/SDE 潜轨迹构建的大规模（3B/8B）连续 dLM 系列。Nemotron-Labs-Sigma 通过似然优化进行分块训练，在联合去噪被高斯噪声破坏的 token 嵌入的同时学习最优嵌入几何，并利用预训练自回归（AR）权重进行热启动。在推理阶段，我们发现无分类器引导与分数温度对于高保真推理和编码至关重要。与最先进的离散对应模型（掩码 dLM 和 AR 基线）相比，Nemotron-Labs-Sigma 在预训练后的标准基准（如 GSM8K、Minerva、HumanEval、MBPP）以及监督微调后的高难度推理任务（如 MATH-500、AIME）上均优于它们，其中在编码任务上取得最大且一致的增益。除准确率之外，我们还利用了连续 dLM 独有的两个结构特性。第一，平滑轨迹在低 NFE 下能够优雅退化，并支持高效的少步蒸馏：在我们研究的方法中，分布匹配表现最强，在数学任务上带来约 8 倍加速、在编码任务上约 4 倍加速（每次前向传播 8 个和 4 个 token），且准确率损失可忽略、多样性得以保持。此外，在（SFT 前）蒸馏后的 8B 模型上进行一步投机解码，相比 AR 对应模型（在 GB200 上）可进一步提升约 3.5 倍吞吐量，优于掩码 dLM 基线。第二，嵌入空间引导可控制质量与多样性之间的权衡，产生较强的 pass@$k$，且随着 $k$ 增大持续提升。综上，这些结果确立了连续 dLM 作为高效语言生成的一种有前景的范式。

评论：	模型系列权重已公开于此 https URL
主题：	计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2610.02665 [cs.CL]
	（或本版本的 arXiv:2610.02665v2 [cs.CL]）
	https://doi.org/10.48550/arXiv.2610.02665 arXiv 颁发的 DOI 经由 DataCite

提交历史

来自：Wei Guo [查看邮箱]
[v1] 2026年10月2日星期五 01:34:44 UTC（1,471 KB）
[v2] 2026年11月12日星期四 18:38:36 UTC（1,710 KB）