arXiv cs.AI· Zheng Wang, Davis Wertheimer, Yu Chin Fabian Lim, Mudhakar Srivatsa, Raghu K. Ganti, Minjia Zhang, Naigang Wang·· 14 小时前AI 评分29
xPress：为投机解码中的扩散草稿模型补回因果性的并行精炼方法
XPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding
AI 导读
xPress 是一种轻量级因果精炼器，用于修复 dFlash 等块扩散草稿模型因逐位置独立采样而缺失的因果依赖，通过并行精炼一次性协调整个扩散块，无需逐 token 循环。在 Qwen3-8B 上，xPress 于七个数学、代码和对话基准上平均提升接受长度约 30%（最高 +56%），端到端解码吞吐平均提升约 1.3 倍（最高 1.7 倍）。
正文 · AI 翻译
摘要：像 dFlash 这样的块扩散草稿器（block-diffusion drafter）在单次前向传播中生成整个草稿 token 块，大幅降低了投机解码中多 token 草稿的开销。单次离散去噪过程的关键最后一步，是利用每个位置上的 logit 分布来采样条件独立的 token。因此，生成的草稿是一组逐位置的边缘分布，而非联合分布：没有任何草稿 token 保证依赖于其前驱。这种独立采样的边缘分布往往会产生这样的序列：其中各 token 单独来看都很有可能，但在目标模型的分布下联合起来却不太可能，而目标模型是逐个 token 进行条件验证的。这可能导致早期拒绝并限制接受长度。为解决这一问题，我们提出 xPress，用以恢复扩散草稿器中缺失的因果性。xPress 是一个轻量级因果精炼器，通过并行精炼一次性协调整个扩散块，无需逐 token 循环即可恢复并传播草稿中的因果依赖关系。在 Qwen3-8B 上，跨七个数学、代码和聊天基准，与原始 dFlash 扩散草稿器相比，xPress 将接受长度平均提高约 30%（最高 +56%），端到端解码吞吐量平均提高约 1.3 倍（最高 1.7 倍）。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.02438 [cs.AI] |
| （或本版本的 arXiv:2608.02438v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.02438 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zheng Wang [查看邮箱]
[v1]
2026年8月3日星期一 16:18:22 UTC（103 KB）
[v2]
2026年10月26日星期一 00:18:30 UTC（161 KB）
来源：arXiv cs.AI · arxiv.org