跳到正文
热点事件持续更新

MoE扩散解码采样器成最大耗时来源

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Harshit Samrat 与 Ramakrishna Paramahamsa Kompella 发表论文,对 26B 参数扩散 MoE 模型在 NVIDIA GB10 上的单用户解码进行剖析,发现权重量化后,logits 采样与停止流水线而非专家 GEMM 成为解码耗时的最大来源。 作者称,原因是扩散解码每个输出 token 需处理 S 倍(S 为去噪步数)的 logit 条目。论文据此提出对采样器的修复。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    MoE 扩散解码的隐藏成本:剖析并修复采样器

    对 26B 参数扩散 MoE 模型在 NVIDIA GB10 上的剖析显示,权重量化后 logits 采样与停止流水线而非专家 GEMM 成为解码最大耗时来源,因为扩散解码每个输出 token 需处理 S 倍(S 为去噪步数)的 logit 条目。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。