arXiv cs.CL· Parikshit Bansal, Sujay Sanghavi·· 10 小时前AI 评分34
让扩散语言模型实现近似联合采样
Enabling Approximate Joint Sampling in Diffusion LMs
AI 导读
研究者提出一种在扩散语言模型中近似联合采样的方法：在已有大型扩散 LM 之上训练一个轻量单层“采样器”，使一次全模型前向传播后可接多次采样器前向，从而并行解掩多个 token。
正文 · AI 翻译
摘要：在自回归语言模型中，每个 token 都是基于所有过去的 token 进行条件采样得到的；因此，整个字符串是从模型所表示的正确的底层联合分布中采样得到的。相比之下，掩码扩散语言模型通过乱序、并且可能并行地解掩码 token 来生成文本。要生成从正确的底层联合分布中采样得到的整个字符串，（同样）需要在每次完整模型前向传播中恰好解掩码一个 token。并行解掩码的 token 越多，字符串就离真实联合分布越远；这可以从由此导致的准确率下降（但速度提升）中看出。在本文中，我们设计了一种方法，可以在单次完整模型前向传播中从联合分布中{\em 近似}采样多个 token；我们通过在现有的大型扩散语言模型之上开发一个新的轻量级单层“采样器”来实现这一点。现在，完整模型的一次前向传播之后可以接上仅该采样器层的多次前向传播，从而产生多个解掩码的 token。我们的采样器经过训练，以模仿（冻结的）完整模型的精确联合采样。我们展示了我们的近似联合采样在仅预训练（Dream-7B-Base、Llada-7B-Base）和指令微调（Dream-7B-Instruct、Dream-7B-Coder）模型上，在语言建模以及数学\&编码任务中的有效性。当每个完整模型去噪步骤解掩码四个 token 时，我们的采样算法相对于真实联合分布取得了 0.87 的 MAUVE 分数（而边际基线为 0.31）。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2509.22738 [cs.CL] |
| （或此版本的 arXiv:2509.22738v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2509.22738 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Parikshit Bansal [查看邮箱]
[v1]
2025年9月25日星期四 21:23:26 UTC（344 KB）
[v2]
2026年2月2日星期一 17:02:01 UTC（342 KB）
[v3]
2026年9月24日星期四 10:48:07 UTC（1,447 KB）
[v4]
2026年11月5日星期四 23:41:05 UTC（1,631 KB）
来源：arXiv cs.CL · arxiv.org