arXiv cs.CL· Lin Yao·· 9 天前AI 评分22
CONDOR：用耦合噪声蒸馏实现扩散语言模型一步块生成
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
AI 导读
研究者提出 CONDOR（Coupled-Noise Distillation for One-Step Readout），通过将不同噪声样本映射到不同连贯 token 块，让扩散语言模型一次前向传播即可生成连贯块。
正文 · AI 翻译
摘要：扩散语言模型能否在一次前向传播中生成连贯的 token 块？掩码模型已经能同时预测每个位置，但每个预测都是给定可见上下文的条件边缘分布，因此各 token 之间可能相互不一致，后续步骤还会修改已经确定的内容。我们提出 CONDOR（Coupled-Noise Distillation for One-Step Readout，耦合噪声蒸馏单步读出），从零开始训练，将不同的噪声样本映射到不同的连贯块。起初，随机噪声与目标并非天然配对。赢者通吃监督让不同样本各自专精，自蒸馏则训练单次前向输出以匹配精炼后的连贯块。TinyStories 实验表明，模型能在连续多个块上生成多样且连贯的续写，每块仅需一次前向传播。MNIST 定性实验表明，同样的方法可以扩展到多模态生成，例如文本到图像以及无条件的文本与图像生成。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.06324 [cs.CL] |
| （或使用 arXiv:2609.06324v5 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.06324 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lin Yao [查看邮箱]
[v1]
2026年9月6日星期日 01:09:14 UTC（767 KB）
[v2]
2026年9月11日星期五 18:39:03 UTC（330 KB）
[v3]
2026年9月18日星期五 09:46:15 UTC（346 KB）
[v4]
2026年9月30日星期三 10:38:54 UTC（291 KB）
[v5]
2026年10月7日星期三 19:40:55 UTC（292 KB）
来源：arXiv cs.CL · arxiv.org