arXiv cs.AI· Chence Yang, Ningxi Cheng, Arash Akbari, Qitao Tan, Qingchan Zhu, Ci Zhang, Changdi Yang, Yanzhi Wang, Wei Niu, Jinhui Wang, Jin Lu, Geng Yuan·· 10 天前AI 评分24
BitNest：面向内存高效 LLM 推理加速的位嵌套投机解码
BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration
AI 导读
BitNest 是一种位嵌套投机解码框架，将低精度草稿模型直接嵌入高精度目标模型的权重表示中，使两者共享单一物理权重，无需额外草稿模型。该方法在多个 7B–8B 边缘友好 LLM 上实现平均 95.2% 的投机接受率，端到端解码较 FP16 自回归提速 1.48–1.61x，并将渐进精度设计扩展至 KV cache 以支持长上下文推理。
正文 · AI 翻译
作者：Chence Yang、Ningxi Cheng、Arash Akbari、Qitao Tan、Qingchan Zhu、Ci Zhang、Changdi Yang、Yanzhi Wang、Wei Niu、Jinhui Wang、Jin Lu、Geng Yuan
摘要：投机解码通过使用轻量级草稿模型提出多个 token 进行并行验证，从而加速自回归生成。然而，现有方法通常需要额外的草稿模型或权重表示，在资源受限设备上引入不可忽视的内存开销。自投机方法降低了这一开销，但仍面临草稿质量、目标质量与存储效率之间的权衡。我们提出 BitNest，一种位嵌套投机解码框架，将低精度草稿直接嵌入到更高精度的目标表示中。BitNest 并非从预定义目标中导出草稿，而是先构建一个强大的低精度基础模型，再通过残差精修恢复更高精度的目标，使两个模型共享单一物理权重表示。BitNest 进一步将这种渐进式精度设计扩展到 KV 缓存，以支持长上下文推理。在多个 7B--8B 边缘友好型 LLM 和多样化工作负载上，BitNest 实现了平均 95.2% 的投机接受率，同时很好地保持了更高精度模型的质量，并相比 FP16 自回归解码实现了 1.48--1.61 倍的端到端加速。在所有代表性自投机基线均支持的 LLaMA 模型上，BitNest 也实现了持续具有竞争力或更高的解码加速。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.02800 [cs.AI] |
| （或使用 arXiv:2610.02800v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.02800 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chence Yang [查看邮箱]
[v1]
2026年10月2日星期五 04:43:42 UTC（257 KB）
[v2]
2026年10月6日星期二 15:26:50 UTC（325 KB）
来源：arXiv cs.AI · arxiv.org