arXiv cs.CL· Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li·· 11 小时前AI 评分34
SpecCTMC：扩散语言模型连续时间马尔可夫链的精确投机采样
SpecCTMC: Exact Speculative Simulation of Diffusion Language Model Continuous-Time Markov Chains
AI 导读
SpecCTMC 是一种无需训练、也无需独立草稿模型的投机采样器，用于加速扩散语言模型的精确连续时间采样。它复用已计算的模型预测提出连续 token 更新并并行评估中间状态，再经精确的接受-修正流程，证明可保持底层连续时间马尔可夫链在事件时间、生成顺序和 token 取值上的联合分布。
正文 · AI 翻译
摘要：掩码扩散语言模型支持并行文本生成，但独立采样多个 token 可能破坏其依赖关系并改变输出分布。精确的连续时间采样避免了这种近似，但通常需要每个 token 进行一次顺序模型评估。我们提出 SpecCTMC，一种无需训练的推测采样器，无需单独的草稿模型即可缓解这一顺序瓶颈。SpecCTMC 利用先前计算的模型预测提出连续的 token 更新，并行评估其中间状态，并应用精确的接受与修正流程。我们证明 SpecCTMC 保持了底层连续时间马尔可夫链的事件时间、生成顺序和 token 值的联合分布。因此，它既不会引入时间离散化误差，也不会引入并行解码带来的额外因子分解误差。在 LLaDA-8B-Instruct 和 Dream-v0-Instruct-7B 上跨五个基准的实验表明，与直接连续时间采样相比，顺序模型评估次数减少了 1.73-4.38 倍，同时保持了参考采样分布。我们的代码可在以下地址获取：此 https URL
| 评论： | 28 页，5 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08362 [cs.CL] |
| （或 arXiv:2611.08362v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08362 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yasong Dai [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 17:41:20 UTC（120 KB）
来源：arXiv cs.CL · arxiv.org