得物分享昇腾910C推理优化实践

得物技术公开了在华为昇腾 910C 上优化大模型推理的实践：通过多流重叠、host 开销优化、融合算子与静态 kernel 编译等源码级和算子层手段，将 TPOT 延迟从基线 14.1ms 降至 5.0ms。 优化针对 vllm-ascend 源码中的 MoE 共享专家与 decode 阶段 host 侧开销。得物技术称，这些优化已在真实业务场景中验证有效。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。