RadarAI· 得物技术·· 7 小时前AI 评分38
国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速 30%|得物技术
AI 导读
得物技术在华为昇腾 910C 上通过多流重叠、host 开销优化、融合算子与静态 kernel 编译等源码级和算子层优化,将大模型推理 TPOT 延迟从基线 14.1ms 降至 5.0ms,提速 30%。优化针对 vllm-ascend 源码中的 MoE 共享专家与 decode host 侧开销,并已在真实业务场景中验证有效性。
来源:RadarAI · bestblogs.dev