MoE扩散解码采样器成最大耗时来源
热点事件持续更新
MoE扩散解码采样器成最大耗时来源
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Harshit Samrat 与 Ramakrishna Paramahamsa Kompella 发表论文,对 26B 参数扩散 MoE 模型在 NVIDIA GB10 上的单用户解码进行剖析,发现权重量化后,logits 采样与停止流水线而非专家 GEMM 成为解码耗时的最大来源。 作者称,原因是扩散解码每个输出 token 需处理 S 倍(S 为去噪步数)的 logit 条目。论文据此提出对采样器的修复。
AI 根据报道生成 · 59 分钟前更新
最新进展11月18日 13:00
MoE 扩散解码的隐藏成本:剖析并修复采样器报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AIMoE 扩散解码的隐藏成本:剖析并修复采样器
对 26B 参数扩散 MoE 模型在 NVIDIA GB10 上的剖析显示,权重量化后 logits 采样与停止流水线而非专家 GEMM 成为解码最大耗时来源,因为扩散解码每个输出 token 需处理 S 倍(S 为去噪步数)的 logit 条目。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。