arXiv cs.AI· Zhaohui Zheng, Chenhang He, Jinrui Zhang, Ming-Ming Cheng, Lei Zhang·· 3 天前AI 评分29
HaloBlock：为扩散大语言模型带来更快更好的解码
HaloBlock: Faster and Better Decoding for Diffusion Large Language Models
AI 导读
HaloBlock 是一种面向扩散大语言模型（dLLM）推理的难度感知自适应 halo 机制，通过双向累积熵刻画块解码难度，并在每个块两侧自适应分配双向 halo 区域以缓解边界上下文不连续。在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 上针对数学推理与代码生成基准的评测显示，HaloBlock 在准确率与推理效率上均有一致提升，源代码已公开。
正文 · AI 翻译
摘要：扩散大语言模型（dLLM）因其双向注意力和任意顺序解码而受到越来越多的研究关注。然而，dLLM 推理中存在两个问题：解码难度主要由块右侧的 token 主导，且逐块解码本质上存在边界上下文不连续的问题。为解决这些局限，我们提出了 HaloBlock，一种面向 dLLM 推理的难度感知自适应光环机制。我们首先利用双向累积熵来刻画块解码难度。然后，基于双向解码难度，我们在每个块的两侧自适应地分配双向光环区域，以缓解边界上下文不连续的问题。HaloBlock 的难度感知设计平滑了跨块上下文传播，并降低了困难 token 的解码难度，从而带来更好的生成质量和更快的收敛速度。在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 上，针对数学推理和代码生成基准进行评估，HaloBlock 展现出一致的准确率提升和更高的推理效率。源代码已在 此 https URL 公开。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.17948 [cs.LG] |
| （或 arXiv:2610.17948v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17948 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhaohui Zheng [查看邮箱]
[v1]
2026年10月13日星期二 08:32:30 UTC（7,964 KB）
来源：arXiv cs.AI · arxiv.org