arXiv cs.CL· Shuhuai Li, Jianghao Lin, Dongdong Ge, Yinyu Ye·· 11 小时前AI 评分31
MoE-SpAc：异构边缘场景下基于推测激活效用的高效 MoE 推理
MoE-SpAc: Efficient MoE Inference Based on Speculative Activation Utility in Heterogeneous Edge Scenarios
AI 导读
MoE-SpAc 是一个面向异构边缘场景的 MoE 推理框架，将推测解码（SD）用作内存管理的前瞻传感器，并集成推测效用估计器、异构负载均衡器和异步执行引擎。在七个基准上，其 TPS 较 SOTA 的 SD 基线提升 42%，相对所有标准基线平均加速 4.04 倍。代码已开源。
正文 · AI 翻译
摘要：混合专家（MoE）模型能够实现可扩展的性能，但在边缘设备上面临严重的内存限制。现有的卸载策略由于自回归专家激活的动态、低信息特性而难以应对 I/O 瓶颈。在本文中，我们提出将推测解码（SD）不仅用作计算加速器，还将其重新用作内存管理的信息化前瞻传感器，并得到了我们的理论和实证分析支持。因此，我们提出了 MoE-SpAc，一个 MoE 推理框架，它集成了推测效用估计器以跟踪专家需求、异构工作负载均衡器以通过在线整数优化动态划分计算，以及异步执行引擎以在同一效用空间中统一预取和驱逐。在七个基准上的大量实验表明，MoE-SpAc 相比最先进的基于 SD 的基线在 TPS 上提升了 42%，相比所有标准基线平均加速 4.04 倍。代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.09983 [cs.LG] |
| （或 arXiv:2603.09983v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.09983 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuhuai Li [查看电子邮件]
[v1]
2026年2月12日星期四 04:28:00 UTC（3,135 KB）
[v2]
2026年10月23日星期五 17:17:37 UTC（3,852 KB）
来源：arXiv cs.CL · arxiv.org