arXiv cs.CL· Bo Li, Chulian Zhang, Or Biri, Anthony Chang, Anton Korzh, Noam Duvdevani, XingFei Xi, Daniel Stokes, Zhenhuan Chen, Ludwig Schneider, Artem Y. Polyakov, Julien Demouth, Chandler Zhou·· 10 小时前AI 评分38
NVLinkOneSided：面向 NVLink 域内 MoE 推理的单边专家并行 all-to-all
One-Sided Expert-Parallel All-to-All for Mixture-of-Experts Inference over NVLink
AI 导读
研究者提出 NVLinkOneSided，一种面向单 NVLink 域内 GPU 的单边 EP all-to-all 方案，源 rank 无需先交换元数据即可将 token 推入目标 GPU 的 rank-major 缓冲区，分组 GEMM 原地读取。
正文 · AI 翻译
作者：Bo Li、Chulian Zhang、Or Biri、Anthony Chang、Anton Korzh、Noam Duvdevani、XingFei Xi、Daniel Stokes、Zhenhuan Chen、Ludwig Schneider、Artem Y. Polyakov、Julien Demouth、Chandler Zhou
摘要：专家并行（EP）将混合专家（MoE）层的专家分片到多个 GPU 上，因此每个 MoE 层都需要两次全对全通信，即分发（dispatch）和合并（combine）。与训练相比，推理时每个 GPU 一次处理的 token 相对较少，而在小批量下，延迟主要由不随 token 数量增长的固定开销而非数据移动决定。我们提出 NVLinkOneSided，一种面向单个 NVLink 域内 GPU 的单边 EP 全对全通信。每个源 rank 无需先交换元数据，即可将 token 推送到目标 GPU 上按 rank 排列的缓冲区，分组 GEMM 直接原地读取这些数据，而不是从每个专家的副本中读取。我们为通信所需的同步提供了两种协议，即 Fence 和 Sentinel，分别适用于高吞吐和低延迟场景。在 Blackwell GPU 上，NVLinkOneSided 完成分发和合并的速度比 DeepEP 快 1.2-3.0$\times$，在小批量下加速最为显著。由此得到的 MoE 层比使用 DeepGEMM 的 DeepEP 快至多 2.4$\times$。在每 GPU 最多 128 个 token 时，它甚至优于融合的 DeepGEMM MegaMoE，使其在解码场景下仍具竞争力。我们通过模块化接口开放 NVLinkOneSided，使其与激活量化格式无关、与 MoE 计算后端解耦，并易于集成到推理框架中。
| 评论： | 19 页，8 幅图，14 张表 |
| 主题： | 分布式、并行与集群计算（cs.DC）；计算与语言（cs.CL）；机器学习（cs.LG）；性能（cs.PF） |
| ACM 分类： | C.1.4；D.1.3 |
| 引用为： | arXiv:2611.13188 [cs.DC] |
| （或 arXiv:2611.13188v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13188 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bo Li [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 20:06:38 UTC（109 KB）
来源：arXiv cs.CL · arxiv.org