arXiv cs.AI· Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li·· 1 天前AI 评分38
Fast-dLLM++ 提出 Fréchet Profile Decoding，扩散 LLM 推理吞吐最高提升 37%
Fast-dLLM++: Fr\'echet Profile Decoding for Faster Diffusion LLM Inference
AI 导读
Fast-dLLM++ 提出免训练的 Fréchet Profile Decoding，从完整排序置信度剖面中选择并行提交集，替代 Fast-dLLM 按最弱 token 决策的同质高置信假设。在 LLaDA-8B 上，GSM8K、MATH、HumanEval、MBPP 实验显示，同等准确率下吞吐最高提升 37%。该方法不改动模型、扩散过程和缓存实现，可直接替换现有 Fast-dLLM 解码。
正文 · AI 翻译
摘要：扩散大语言模型有望实现并行 token 生成，但推理仍受制于如何判定哪些掩码 token 可以安全地一并提交。Fast-dLLM 通过 KV 缓存和置信度引导的并行解码解决了这一问题，但其解码理论采用同质高置信度假设，实际上将每个候选集简化为其中置信度最低的 token。我们认为，这牺牲了速度，因为真实解码步骤呈现出异质的置信度分布。我们提出 Fast-dLLM++，这是一种无需训练的扩展，引入 Fréchet 分布解码：从完整的排序置信度分布中选择并行提交集，而非依据单一最坏情况置信度。由此得到的规则是 Fast-dLLM 因子选择器的异质置信度推广，在等置信度情形下可精确还原原有规则，并在所选 token 置信度不均时增加可证明的异质性增益。Fast-dLLM++ 完全未改动模型、扩散过程和缓存实现，因此可直接替换现有的 Fast-dLLM 解码。在 GSM8K、MATH、HumanEval 和 MBPP 上使用 LLaDA-8B 模型进行的实验表明，理论改进直接转化为实证收益：分布感知选择通过利用最弱 token 规则所遗漏的安全并行性，改善了准确率-吞吐量前沿，在准确率相当的情况下吞吐量最高提升 37%。我们的代码发布于 此 https URL。
| 评论： | 项目主页：此 https URL 早期版本已被 ICML 2026 SPIGM Workshop 接收。本更新版本包含大幅扩展的实验结果和额外贡献，并已被 NeurIPS 2026 主会接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.02955 [cs.CL] |
| （或 arXiv:2606.02955v3 [cs.CL] 用于本版本） | |
| https://doi.org/10.48550/arXiv.2606.02955 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yasong Dai [查看邮箱]
[v1]
2026年6月1日星期一 23:18:59 UTC（150 KB）
[v2]
2026年6月15日星期一 16:47:38 UTC（777 KB）
[v3]
2026年11月11日星期三 17:40:04 UTC（900 KB）
来源：arXiv cs.AI · arxiv.org