arXiv cs.AI· Fengyuan Liu, Jay Gala, Siva Reddy, Dzmitry Bahdanau·· 4 小时前AI 评分34
EchoMoE:通过激活压缩实现高效专家并行
Communicate the Change: Efficient Expert Parallelism via Activation Compression
AI 导读
EchoMoE 是一种轻量架构改造,通过只传输隐藏状态的压缩差值而非完整状态,将 MoE 模型节点间通信量降低 58%、吞吐提升 22.6%,18 个基准上平均性能差距在 3.8 个百分点以内。该方法仅需约 8,500 倍少于完整预训练的训练 token 即可改造现有 MoE 模型,在带宽受限的以太网上推理吞吐最高提升 2.38 倍。团队已开源实现及 vLLM 推理集成。
正文 · AI 翻译
摘要:规模化推动了大型语言模型(LLM)的成功,稀疏混合专家(MoE)架构使模型能够在计算量不成比例增加的情况下获得更大的参数容量。在大规模场景下,MoE 模型依赖专家并行将专家分布到不同设备上。每个 MoE 层在推理过程中需要两个同步的集合通信步骤:将隐藏状态分发到被激活的专家,以及合并各专家产生的输出。随着计算吞吐量的增长超过互连带宽,这些同步集合通信已成为 MoE 扩展与效率的主要瓶颈。我们通过 EchoMoE 应对这一挑战,这是一种轻量级的架构修改,可对现有 MoE 模型进行改造,所需训练 token 数比完整预训练少约 8,500 倍。受 transformer 块以增量方式更新残差流这一观察的启发,我们使用较早层的隐藏状态作为参考,仅通信它与当前状态之间的压缩差值,而不是完整通信每个隐藏状态。EchoMoE 定期刷新这些参考状态,并仅同步传输压缩差值,从而在不带来显著计算开销的情况下减少延迟关键路径上的流量。EchoMoE 将节点间通信量减少 58%,吞吐量提升 22.6%,同时在 18 个基准测试上平均性能保持在 3.8 个百分点以内。在带宽受限的以太网上,EchoMoE 进一步将推理吞吐量提升至多 2.38 倍,为广域分布式推理铺平了道路。EchoMoE 还能容忍对通信表示进行量化,而不会造成可测量的质量损失。我们发布了将 EchoMoE 应用于预训练 MoE 模型的高效实现,以及面向 vLLM 的推理集成。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);分布式、并行与集群计算(cs.DC) |
| 引用为: | arXiv:2611.22215 [cs.LG] |
| (或使用 arXiv:2611.22215v1 [cs.LG] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.22215 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Fengyuan Liu [查看邮箱]
[v1]
2026年11月17日星期二 04:52:41 UTC(945 KB)
来源:arXiv cs.AI · arxiv.org