arXiv cs.AI· Ekagra Ranjan, Komal K. Teru, Bharat Venkitesh, Acyr Locatelli·· 13 小时前AI 评分31
为何投机解码在稀疏 MoE 模型上比预期更有效
Why Speculative Decoding Works Better Than Predicted on Sparse MoE Models
AI 导读
研究在 10 个稀疏 MoE 模型（30B–1T 参数、8–512 专家）上评估投机解码，发现近期细粒度模型在低 batch size 下反而获得更高加速，打破了此前"加速比与 batch size 呈凹形关系、在中等 batch 达峰"的预测。
正文 · AI 翻译
摘要：推测解码（SD）利用解码的内存受限特性，在单次前向传播中验证多个草稿 token，从而加速自回归推理。对于混合专家（MoE）模型，先前工作预测加速比与批大小呈凹形关系，由于专家饱和，增益在中等批大小处达到峰值。我们在 10 个稀疏 MoE 模型（30B--1T 参数，8--512 个专家）上评估了这一点，发现近期的细粒度模型打破了这一趋势，在低批大小下表现出更高的加速比。我们发现验证成本不仅由激活专家的字节数决定，还受草稿 token 之间的时间重叠和 GPU 执行动态的影响。在低批大小下，细粒度模型中的 MoE 层占运行时的比例远小于其占权重的比例；在 H100 上，内核分析将此主要归因于 MoE 内核相对于注意力具有更高的带宽利用率，其中 L2 缓存吸收了对共同路由专家的重复读取。在草稿 token 之间，路由重叠进一步减少了验证期间激活的唯一专家数量，相对于独立性假设而言。我们使用最大熵迭代比例拟合（IPF）框架对此效应建模，该框架从路由重叠统计中预测唯一专家数量，误差小于 4\%，并大幅缩小了与真实模型曲线的差距，且从合成路由中捕捉到了定性的低批趋势。
| 评论： | 被接收为 NeurIPS 2026 主赛道会议 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38981 [cs.LG] |
| （或 arXiv:2610.38981v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.38981 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ekagra Ranjan [查看电子邮件]
[v1]
2026年10月28日星期三 22:04:53 UTC（3,789 KB）
来源：arXiv cs.AI · arxiv.org