arXiv cs.CL· Ning Zhang, Shihao Wang, Jinrui Zhang, Chaodong Xiao, Lei Zhang·· 11 小时前AI 评分31
BitMTP：当多 Token 预测遇上低比特大语言模型
BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models
AI 导读
BitMTP 是一个面向超低比特 LLM 主干的高效多 Token 预测算法-系统协同设计框架，通过联合下一 Token 预测与 MTP 目标让单一模型同时具备自回归生成和块因果草稿能力。
正文 · AI 翻译
摘要：为了高效部署大语言模型（LLM），超低位宽骨干网络方法降低了权重存储、内存流量和线性层执行成本，而多 token 预测（MTP）方法通过并行预测多个未来 token 来减少顺序解码步骤。尽管二者互补，但直接组合这些方法无法在同等质量下加速解码：掩码草稿缺少下一 token 训练中提供的中间 token 输入，而更宽的计算和因果键值（KV）更新会抵消步骤减少带来的节省。为应对这些挑战，我们提出 BitMTP，一种用于超低位宽 LLM 骨干网络上高效 MTP 的算法-系统协同设计框架。联合的下一 token 预测与 MTP 目标使单一模型同时具备自回归（AR）生成和块因果草稿能力。仅置信度解码、仅推测解码和混合解码在不使用独立草稿模型和验证模型的情况下提供不同的质量-吞吐量工作点。已接受前缀对齐保持已提交前缀、物化的因果 KV 边界和 CUDA Graph 重放状态一致，以支持持续生成。BitMTP 利用这一约定选择宽度专用的低位宽执行，并在共享 KV 存储上复用已捕获的图。在 NVIDIA H20 上，采用混合解码的 BitMTP 在 BitNet b1.58-2B 上实现五项任务平均 2.2 倍加速，在 1.7B-4B Bonsai 模型上实现 2.1-2.4 倍加速，且任务质量相当。在 RTX 3090 和 Jetson Orin 上，它进一步在五项任务平均吞吐量上实现最高 2.0 倍加速，在 MBPP+ 上实现 3.3 倍加速。这些结果表明，BitMTP 可在不同骨干网络、模型规模和 GPU 类型上加速超低位宽 LLM 生成。源代码发布于 此 https URL
| 评论： | 已被 NeurIPS 2026 接收。16 页，3 幅图。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28500 [cs.CL] |
| （或 arXiv:2610.28500v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28500 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ning Zhang [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 16:42:17 UTC（13,512 KB）
来源：arXiv cs.CL · arxiv.org