Hugging Face Daily Papers· Gunho Park·· 20 天前AI 评分22
SlimWise：面向高效 MoE 推理，解耦 prefill 与 decode 阶段的专家剪枝
SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving
AI 导读
SlimWise 是一个面向 MoE 模型推理的服务框架，将专家池按推理阶段解耦：prefill 用完整模型，decode 用剪枝模型并直接复用 prefill 生成的 KV cache、无需转换。该方法针对批量解码时专家权重流量成为瓶颈的问题，避免传统剪枝同时削减计算密集的 prefill 而损害模型质量。
来源：Hugging Face Daily Papers · huggingface.co