arXiv cs.CL· Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 6 天前AI 评分24
DCOCO：为推测解码的并行草稿恢复上下文依赖
Contextual Correction of Parallel Draftsfor Speculative Decoding
AI 导读
DCOCO（DFlash Contextual Corrector）是一种轻量机制，在保留并行草稿的同时恢复草稿块内被丢失的 token 依赖，通过并行评估相邻位置多个候选 token 的上下文兼容性来完成选择。在四个验证器骨干和十个基准上，DCOCO 在所有配置中取得最高平均吞吐，较原始解码最高加速 6.6x；在 4-32 并发请求下比最强竞争方法高 6-23%。
正文 · AI 翻译
摘要：推测解码通过使用轻量级草稿模型提出多个 token，随后由目标模型并行验证，从而加速大语言模型推理。近期基于扩散的草稿模型使这一范式尤为有吸引力：基于深度注意力的神经骨干网络提供强预测能力，而并行草拟多个未来位置则避免了自回归生成的顺序开销。然而，这种并行性是有代价的。草稿块内的 token 在预测时无法获知前面草稿 token 的实际身份，从而去除了在自回归生成下本应自然可用的块内依赖关系。我们提出 DCOCO（DFlash Contextual Corrector），一种轻量级机制，在保持并行草拟的同时恢复这些依赖关系。DCOCO 不直接采用每个位置的最高预测，而是保留多个候选 token，并并行评估它们在相邻草稿位置间的上下文兼容性，从而以较低的额外成本实现基于上下文的 token 选择。在四个验证器骨干网络和十个基准测试上，DCOCO 在所有评估配置中均取得最高平均吞吐量，涵盖贪婪解码与随机解码、有无扩展推理的情况，相比原始解码最高加速 6.6 倍。其优势在并发服务下依然保持：在 4-32 个并发请求下，DCOCO 比最强的竞争方法高出 6-23%，而其他顺序校正器在这些负载下甚至低于未校正的 DFlash。这些结果表明，通过并行上下文评分恢复块内依赖关系，可在各种解码机制和服务负载下带来一致的加速。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12570 [cs.CL] |
| （或 arXiv:2610.12570v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12570 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Roy Eisenstadt [查看电子邮件]
[v1]
2026年10月8日星期四 18:01:03 UTC（236 KB）
来源：arXiv cs.CL · arxiv.org