arXiv cs.AI· Yudong Pan, Lian Liu, Shixin Zhao, Yintao He, Kaiyan Chang, Tianhua Han, Chenyang Ai, Haonan Zhu, Mengdi Wang, Yinhe Han, Ying Wang·· 11 小时前AI 评分27
3D-MoE：面向 3D 堆叠 NMP 上 MoE 解码的互补性引导软硬件协同设计
3D-MoE: Complementarity-Guided Hardware-Software Co-Design for MoE Decode on 3D-Stacked NMP
AI 导读
3D-MoE 是面向 3D 堆叠近存处理（NMP）上 MoE 解码的软硬件协同设计系统，利用专家负载在解码步间此消彼长的"专家互补性"做离线分组与局部性感知映射。
正文 · AI 翻译
作者：Yudong Pan、Lian Liu、Shixin Zhao、Yintao He、Kaiyan Chang、Tianhua Han、Chenyang Ai、Haonan Zhu、Mengdi Wang、Yinhe Han、Ying Wang
摘要：混合专家（MoE）已成为扩展大语言模型（LLM）的主流方式，因为每个 token 只激活一小部分专家，从而降低了推理成本。然而，MoE 解码仍然高度受限于内存带宽，并且表现出强烈偏斜、随时间变化的专家负载。3D 堆叠 DRAM 的近存处理（NMP）提供了解码所需的带宽，但其分块组织方式使负载均衡代价高昂：专家并行（EP）保持了局部性，却会因热点导致不均衡；而更分布式的策略会削弱局部性并增加 NoC 流量。
为解决这一局部性与均衡之间的冲突，我们观察到领域专用的 token 路由会在各解码步骤之间产生相互抵消的专家负载波动，我们将这一特性称为专家互补性。基于这一洞见，我们提出了 3D-MoE，一个面向 3D 堆叠 NMP 上 MoE 解码的软硬件协同设计系统。3D-MoE 使用离线的、一次性的互补性引导分组和局部性感知映射来建立粗粒度的组间均衡，通过轻量级协作内存网络（CMN）处理残余的组内热点，该网络经由重新配置的本地广播路径，将每个热点专家的权重块从其宿主 DRAM 通道一次性流式传输到辅助核心，并使用成本感知的在线重映射来保持对工作负载漂移的鲁棒性。在多个 MoE 模型上，3D-MoE 相比 EP 实现了平均 4.63$\times$ 的 MoE 层加速，并将端到端吞吐量相比最强的 NMP 基线提升了 1.58$\times$--1.86$\times$，仅增加 2.11\% 的逻辑裸片面积。
| 学科： | 硬件架构（cs.AR）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.26991 [cs.AR] |
| （或 arXiv:2610.26991v1 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26991 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yudong Pan [查看邮箱]
[v1]
2026年10月19日星期一 07:13:19 UTC（2,364 KB）
来源：arXiv cs.AI · arxiv.org