arXiv cs.CL· Alagappan Valliappan·· 10 小时前AI 评分38
Windowed-MTP：在百万级 Token 上下文下消除全上下文草稿 KV 开销
Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
AI 导读
Windowed-MTP 通过仅对草稿模型施加 StreamingLLM 式窗口加注意力汇、保持目标模型全上下文验证，在百万级 Token 上下文下实现无需额外接受率的 1.28-1.44x 单步解码加速。
正文 · AI 翻译
摘要：推测解码通过让草稿模型提出 token、由目标模型并行验证来加速自回归生成。前沿模型越来越多地内置 Multi-Token-Prediction（MTP）草稿头，并被认为相对于验证而言开销很低。然而，在长上下文场景下，已发布的完整注意力 MTP 头与混合目标模型搭配时，开销可能变得不成比例地高。在解码的每一步中，该头要对 $\gamma$ 次草稿前向传播分别在全量 KV 缓存上做注意力，而目标层中只有 9-25% 保留完整注意力，因此单个草稿层的上下文读取速率可能与整个目标模型相当。在困难、低接受率的工作负载上，深层原生 MTP 会变成净负收益：比不做推测还慢。
我们仅对草稿模型应用 StreamingLLM 风格的窗口加注意力汇（Windowed-MTP）；目标验证仍保持全上下文，因此目标分布得以保留。该干预无需训练，可直接替换。在两个混合家族（Gated DeltaNet 和 Mamba2）的三个模型上，在单 GPU 的 SGLang 中以 1M 上下文测试，相比原生 MTP，它在每个解码步骤上带来与接受率无关的 1.28-1.44 倍加速。加速随上下文增长；在接受率相同时，TPOT 以相同倍数改善。该窗口去除了草稿模型的大部分工作集，而紧凑的环形缓冲区将这一缩减转化为物理容量：它回收了原本闲置的草稿池，在 1M 上下文下实测占总 KV 的 7.7-11.1%，从而在 Qwen-35B 批量扫描中为额外一个并发的 1M 请求腾出空间。
| 评论： | 29 页，5 幅图，16 张表。v2：窗口化草稿注意力已合并至 SGLang 上游（PR #32673）。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；性能（cs.PF） |
| ACM 分类： | I.2.7；I.2.6；C.4 |
| 引用为： | arXiv:2607.21535 [cs.LG] |
| （或 arXiv:2607.21535v2 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2607.21535 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Alagappan Valliappan [查看邮箱]
[v1]
2026 年 7 月 23 日周四 17:21:44 UTC（830 KB）
[v2]
2026 年 10 月 30 日周五 17:48:26 UTC（810 KB）
来源：arXiv cs.CL · arxiv.org