arXiv cs.AI· Wenhui Lv, Yunming Liao, Hongli Xu, Yang Xu, Junhao Cheng·· 11 小时前AI 评分32
自适应专家分配实现高效 CPU-GPU 协同 MoE 推理
Efficient CPU-GPU collaborative MoE inference via Adaptive Expert Assignment
AI 导读
研究者提出 CPU-GPU 协同 MoE 推理系统，通过自适应专家分配将高负载专家传至 GPU、低负载专家留在 CPU 执行，并动态调整分配以平衡两条执行路径。在三个代表性 MoE 大语言模型上，该方法相比最强基线将 prefill 速度提升最高 51.9%、decode 吞吐提升最高 39.5%，且在不同 GPU 显存预算下均保持稳定增益。
正文 · AI 翻译
摘要：混合专家（MoE）模型通过稀疏的专家激活来减少推理计算量，但其庞大的专家内存占用往往超出 GPU 容量，因此在内存受限的推理场景中必须进行专家卸载。然而，现有系统通常以两种方式处理 GPU 未命中的专家：将其传输到 GPU，从而产生可观的 PCIe 传输延迟；或在 CPU 上执行，使较慢的 CPU 计算成为瓶颈。为解决这些局限，我们提出 \method，一种 CPU-GPU 协同的 MoE 推理系统，它自适应地将这些未命中的专家分配给 CPU 或 GPU 以高效执行。通过利用专家 token 负载的差异，\method 选择性地将高负载专家传输到 GPU，同时在 CPU 上执行低负载专家。为最小化推理延迟，\method 自适应地调整专家分配，以平衡 CPU 计算路径与 GPU 传输加计算路径，使两条执行路径都能尽早完成。在三个代表性 MoE 大语言模型上的大量实验表明，在所评估的各批次大小下，\method 相比最强基线将预填充速度最高提升 51.9\%，解码吞吐量最高提升 39.5\%，且在不同 GPU 内存预算下均有一致的增益。
| 评论： | 13 页，7 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23006 [cs.AI] |
| （或 arXiv:2610.23006v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23006 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenhui Lv [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 06:31:43 UTC（1,029 KB）
来源：arXiv cs.AI · arxiv.org