arXiv cs.CL· Aidar Myrzakhan, Zhiqiang Shen·· 14 小时前AI 评分36
dSpark：用调度蒸馏让扩散语言模型学会何时提交 token
Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models
AI 导读
研究者提出 dSpark，一种基于调度蒸馏的框架，通过学习"何时提交 token"来加速扩散语言模型生成。该方法优先揭示能让其他位置更易预测的 token，并将调度蒸馏进模型，配合 KL 散度正则项保持生成质量。在 GSM8K 上，dSpark 在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别实现 10.12 倍和 5.12 倍加速，同时保持更优的任务表现。
正文 · AI 翻译
摘要：扩散大语言模型（dLLMs）能够并行生成多个 token，但通常需要多轮解码才能完成一次响应。高效生成不仅取决于哪些 token 容易预测，还取决于确定这些 token 如何有助于预测其余位置。一个高度可预测的 token 可能提供的有用上下文很少，而揭示一个可预测性较低的 token 则能帮助其他若干位置更快变得可预测。我们提出 dSpark，一种新的基于调度蒸馏的框架，用于学习何时确定 token，以实现更快的扩散语言生成。为此，我们构建了去掩码调度，优先选择那些被揭示后能使其他位置更易预测的 token，从而在解码早期降低不确定性。随后我们将这些调度蒸馏到模型中，以实现更快的并行采样，并使用 KL 散度正则项来帮助保持生成质量。我们在数学推理和代码生成任务上广泛评估了我们的方法。在 GSM8K 上，我们的方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别相比各种基线实现了显著的 10.12$\times$ 和 5.12$\times$ 加速，同时保持了优越的任务性能。我们的代码可在 此 https URL 获取。
| 评论： | 代码可在 此 https URL 获取 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.35804 [cs.CL] |
| （或 arXiv:2610.35804v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35804 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aidar Myrzakhan [查看电子邮件]
[v1]
2026年10月26日星期一 17:35:58 UTC（523 KB）
来源：arXiv cs.CL · arxiv.org