arXiv cs.AI· Haohui Zhang, Keyu Chen, Haocheng Sun, Weibo Gu, Ruizhi Qiao, Xing Sun, Bo Jiang·· 3 天前AI 评分27
DSpine：面向投机解码的相邻因果注入并行草稿模型
Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding
AI 导读
DSpine 是一种在骨干网络各层注入相邻因果条件的投机解码草稿模型，让每个前驱的预测特征写入后继位置，使因果条件链随网络深度展开而所有位置并行更新。
正文 · AI 翻译
摘要：并行推测起草在一次主干前向传播中生成多个候选，但独立的 token 选择可能产生不一致的续写，从而缩短被接受的前缀。现有方法大多将条件解码留给主干之后的轻量级模块，这限制了前驱信息向后继的流动。我们对 DFlash 的分析表明，早期位置在浅层中已经形成可恢复的预测，并且准确的相邻前驱在更早进入时对后继帮助更大。因此我们提出 DSpine，一种在整个主干中注入因果条件信息的起草器：在每一层，门控相邻注入将每个前驱的预测特征写入其后继，因此因果条件链随网络深度展开，而所有位置并行更新。由目标模型输出嵌入构建的统一传输空间将逐层注入与前驱条件解码统一起来，逐层输出嵌入监督促进浅层中预测特征的形成。融合内核和转换缓存在 SGLang 中高效并行执行二者。在七个数学、代码和聊天基准上，DSpine 在 Qwen3-4B 和 Qwen3-8B 上于两种温度下均实现了最长的接受长度。在 Qwen3-8B 上温度为 0 时，它将七基准均值从 DFlash 的 3.77 提升至 4.82（+27.8%）；在 SGLang 服务测试中，它平均比 DFlash 提供高 23.3% 的吞吐量。项目页面：this https URL
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.36173 [cs.LG] |
| （或 arXiv:2609.36173v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.36173 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haohui Zhang [查看电子邮件]
[v1]
2026年9月28日星期一 19:44:02 UTC（16,272 KB）
[v2]
2026年10月10日星期六 11:03:07 UTC（16,272 KB）
来源：arXiv cs.AI · arxiv.org