arXiv cs.CL· Jui-Chien Tsou, Hsuan-Chi Liu, Wei-Chin Wang, Yu-Syuan Xu, Chun-Yi Lee·· 11 小时前AI 评分38
TeCoP：通过试探性上下文流水线加速扩散大语言模型解码
TeCoP: Accelerating Diffusion Large Language Model Decoding via Tentative Context Pipelining
AI 导读
TeCoP 是一种免训练解码器，通过交错块并行流水线与草稿-验证机制，将稳定但未提交的预测复用为临时跨块上下文。在 LLaDA 和 Dream 等四个 dLLM 上测试 GSM8K、Minerva MATH 和 MBPP，前向评估次数最多减少 87%，无 KV 缓存时吞吐量提升最高 7.50 倍、有缓存时达 11.77 倍。
正文 · AI 翻译
摘要：扩散大语言模型（dLLMs）在每次前向传播中预测多个 token 位置，但分块解码器将生成过程串行化，并反复重新计算稳定的预测结果。我们将这种低效归因于将预测结果是否已准备好进行不可逆提交与其作为上下文的效用耦合在一起。我们提出 Tentative Context Pipelining（TeCoP），这是一种无需训练的译码器，通过交错的分块并行流水线以及草稿-验证机制将这两种角色解耦。TeCoP 将稳定但尚未提交的预测结果复用为临时的跨块上下文，其提交由置信度和稳定性检查控制。在 GSM8K、Minerva MATH 和 MBPP 上的四个 LLaDA 和 Dream dLLMs 中，TeCoP 将前向评估次数最多减少 87%，并在不使用 KV 缓存时实现最高 7.50 倍的吞吐量，在使用缓存时相比未使用缓存的原始译码器实现最高 11.77 倍的吞吐量。在所有 12 个模型-基准设置中，无论是否使用缓存，其吞吐量均优于 Fast-dLLM 和 DSB，同时平均缓存准确率与原始译码器的差距保持在一个百分点以内。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.27583 [cs.CL] |
| （或此版本的 arXiv:2610.27583v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.27583 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hsuan-Chi Liu [查看电子邮件]
[v1]
2026年10月20日星期二 03:48:01 UTC（1,030 KB）
来源：arXiv cs.CL · arxiv.org