arXiv cs.CL· Yuzhe Chen, Jiale Cao, Xuyang Liu, Jin Xie, Aiping Yang, Yanwei Pang·· 10 小时前AI 评分32
STDec：面向 dLLM 的时空稳定性引导解码方法
STDec: Spatio-Temporal Stability Guided Decoding for dLLMs
AI 导读
研究者提出免训练的时空稳定性引导解码方法 STDec，通过聚合邻近 token 的解码状态动态生成 token 自适应阈值，并对去噪步骤中预测 ID 保持一致的 token 放宽阈值。在文本推理与多模态理解基准上，STDec 在生成分数相当的情况下提升推理吞吐，在 MBPP 上配合 LLaDA 最高实现 14.17 倍加速，且兼容基于缓存的加速方法。
正文 · AI 翻译
摘要：扩散大语言模型（dLLMs）已取得快速进展，被视为自回归范式的一种有前景的替代方案。然而，大多数 dLLM 解码器仍采用全局置信度阈值，并且没有显式建模来自相邻已解码状态的局部上下文，也没有显式建模预测 token ID 在多个步骤间的时间一致性。为解决这一问题，我们提出了一种时空稳定性引导的解码方法，名为 STDec。我们观察到 dLLM 解码中存在很强的时空稳定性：新解码的 token 往往位于已解码邻居附近，且其预测 ID 在多个去噪步骤中通常保持一致。受这种稳定性启发，我们的 STDec 引入了空间感知解码和时间感知解码。空间感知解码通过聚合附近 token 的已解码状态，动态生成 token 自适应阈值。时间感知解码则对预测 token ID 在去噪步骤中保持一致的 token 放宽解码阈值。我们的 STDec 无需训练，并且与基于缓存的加速方法保持兼容。在文本推理和多模态理解基准上，STDec 在保持相当生成分数的同时实现了更高的推理吞吐量。值得注意的是，在 LLaDA 上的 MBPP 任务中，STDec 在分数相当的情况下实现了最高 14.17$\times$ 的加速。主页见 此 https URL。
| 评论： | 主页：此 https URL |
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2604.06330 [cs.CL] |
| （或 arXiv:2604.06330v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.06330 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuzhe Chen [查看邮箱]
[v1]
2026年4月7日星期二 18:13:31 UTC（760 KB）
[v2]
2026年11月10日星期二 15:39:11 UTC（1,143 KB）
来源：arXiv cs.CL · arxiv.org