arXiv cs.CL· Minsoo Cheong, Donghyun Son, Woosang Lim, Sungjoo Yoo·· 10 小时前AI 评分35
EntropyCache：用解码 Token 熵引导扩散语言模型 KV 缓存
EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models
AI 导读
EntropyCache 是一种免训练的 KV 缓存方法，以新解码 token 分布的最大熵作为恒定开销信号，决定何时重算缓存，每步仅需 O(V) 计算，与上下文长度和模型规模无关。
正文 · AI 翻译
摘要：基于扩散的大语言模型（dLLM）依赖双向注意力，这导致无法进行无损 KV 缓存，并且需要在每个去噪步骤执行完整的前向传播。现有的近似 KV 缓存方法通过选择性更新缓存状态来降低这一开销，但其决策开销会随上下文长度或模型深度增长。我们提出 EntropyCache，一种无需训练的 KV 缓存方法，它利用新解码 token 分布的最大熵作为恒定开销的信号，来决定何时重新计算。我们的设计基于两项实证观察：(1) 解码 token 的熵与 KV 缓存漂移相关，为缓存陈旧程度提供了廉价的代理指标；(2) 解码 token 的特征波动在解除掩码后会持续多个步骤，这促使我们重新计算最近解码的 $k$ 个 token。跳过或重算的决策每步仅需 $O(V)$ 计算量，与上下文长度和模型规模无关。在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上的实验表明，EntropyCache 在标准基准上实现了 $15.2\times$-$26.4\times$ 的加速，在思维链基准上实现了 $22.4\times$-$24.1\times$ 的加速，且准确率具有竞争力，决策开销仅占推理时间的 $0.5\%$。代码可在 此 https URL 获取。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2603.18489 [cs.CL] |
| （或 arXiv:2603.18489v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.18489 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minsoo Cheong [查看邮箱]
[v1]
2026年3月19日 星期四 04:46:34 UTC（1,584 KB）
[v2]
2026年11月2日 星期一 04:39:18 UTC（1,591 KB）
来源：arXiv cs.CL · arxiv.org