arXiv cs.CL· Selim Aktas, Yusuf Erdem Erdem, Ahmed Zeer, Himmet Toprak Kesgin, Muzaffer Kaan Yuce, Mehmet Fatih Amasyali·· 10 小时前AI 评分34
ChainFlow：面向投机解码的少步隐空间流匹配
ChainFlow: Few-Step Latent Flow Matching for Speculative Decoding
AI 导读
ChainFlow 是一种新的投机解码范式，也是首个以目标模型隐藏状态为条件的流匹配 drafter，只需一到两个流步即可完成草稿生成。在 Qwen3.5 模型上、drafter 规模与训练数据匹配时，其在 vLLM 中分别比 EAGLE-3 和 DFlash 快 39% 和 11%。
正文 · AI 翻译
摘要：推测解码已成为加速 LLM 推理的标准方法：轻量级草稿模型提出 token，目标模型在一次并行前向中对其进行验证。现有草稿模型面临限制其加速比的权衡：自回归草稿模型一次生成一个 token，因此草稿成本随草稿长度增长；而扩散草稿模型并行生成 token，但独立预测每个位置，忽略了 token 间的依赖关系。我们提出 ChainFlow，一种新的推测解码范式，也是首个以目标模型隐藏状态为条件的流匹配草稿模型。ChainFlow 将草稿视为隐藏状态上的短程传输，只需一到两个流步骤，而非从噪声生成所需的众多去噪步骤。变分自编码器压缩这些状态，使草稿成本几乎不随目标模型规模增长；轻量级反馈头恢复 token 间依赖关系；树状草稿提高接受率。在 Qwen3.5 模型上，在草稿模型规模和训练数据匹配的情况下，ChainFlow 在 vLLM 中分别比 EAGLE-3 和 DFlash 高出 39% 和 11%。当草稿模型依次适配新语言时，这些增益进一步扩大。我们的消融实验涵盖草稿模型设计和并发服务，并开源了代码和草稿模型。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08669 [cs.AI] |
| （或本版本的 arXiv:2611.08669v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.08669 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ahmed Zeer [查看邮箱]
[v1]
2026年11月5日星期四 20:26:25 UTC（495 KB）
来源：arXiv cs.CL · arxiv.org