arXiv cs.AI· Harshit Samrat, Ramakrishna Paramahamsa Kompella·· 4 小时前AI 评分34
MoE 扩散解码的隐藏成本:剖析并修复采样器
The Hidden Cost of MoE Diffusion Decoding: Profiling and Fixing the Sampler
AI 导读
对 26B 参数扩散 MoE 模型在 NVIDIA GB10 上的剖析显示,权重量化后 logits 采样与停止流水线而非专家 GEMM 成为解码最大耗时来源,因为扩散解码每个输出 token 需处理 S 倍(S 为去噪步数)的 logit 条目。
正文 · AI 翻译
摘要:掩码扩散语言模型(dLLM)通过迭代去噪整个 token 画布来解码,因此每次前向传播都会在整个画布×词表的 logits 张量上运行逐 token 采样与停止流水线。我们在带宽受限的边缘加速器(NVIDIA GB10)上对 26B 参数的扩散混合专家模型进行单用户解码性能分析,并报告了一个容易被忽视的结果:权重量化之后,这条 logits 流水线——而非专家 GEMM——是解码耗时最大的单一消耗者。与自回归解码中采样每个已提交 token 只触及一个位置的 logits 不同,扩散解码每个输出 token 要处理 S 倍的 logit 条目,其中 S 是去噪步数。我们证明该流水线在很大程度上是冗余的或可融合的,并以两种无损层级将其移除:一个位精确层级,其输出与参考解码器逐字节一致;以及一个精度持平层级,使用融合的单遍熵核与 Gumbel-max 采样。结合 W4A16 专家核,在单块 273 GB/s 设备上,整套方案在 GSM8K、HumanEval 和 MATH 上保持基准精度不变的同时,相比 bf16 实现 2.4-2.7 倍的端到端加速。我们在第二个独立构建的扩散 MoE(LLaDA2.0-mini:流水线占解码 28.8%,融合 W4A16 在精度持平下 3.3 倍)上确认了这一发现,并表明它在稠密扩散模型上消失(3.6%)。该开销是 MoE 扩散所特有的,因为量化使主干网络变得廉价。代码与量化权重已发布。
| 评论: | 被 NeurIPS workshop DiffuLM 2026 接收 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.21852 [cs.LG] |
| (或 arXiv:2611.21852v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21852 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ramakrishna Paramahamsa Kompella [查看邮箱]
[v1]
2026 年 11 月 16 日星期一 20:16:09 UTC(15 KB)
来源:arXiv cs.AI · arxiv.org