arXiv cs.AI· Hongliang Cao, Xiuyu Li, Siqi Wang, Ziming Wang, Jingmin Zhu, Hailong Yang·· 3 天前AI 评分23
SpecFit：卸载式 MoE 推理中并非所有草稿 token 代价相同
SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference
AI 导读
SpecFit 通过选择预测吞吐量最高的已验证草稿子树，而非追求最长接受长度，来优化卸载式 MoE 推理中的推测解码。该方法用草稿路径概率估算提交 token 数，并根据子树激活专家的逐层并集预测周期时间，该并集为单调子模覆盖函数。
正文 · AI 翻译
摘要：混合专家（MoE）模型每个 token 只激活少数专家，但当其专家权重被卸载到主机内存时，主机到设备（H2D）的专家传输进入了解码的关键路径。推测解码在一次前向传播中验证多个草稿 token，但在 MoE 模型中，每个被验证的 token 都会激活各自的专家，因此更大的草稿树会传输更多专家。由于这一 H2D 开销，推测解码每个验证周期虽提交多个 token，但有时甚至比自回归解码更慢。基于这一观察，我们提出 SpecFit，它选择被验证的草稿子树以最大化预测吞吐量，而非接受长度。SpecFit 根据草稿路径概率估计预期提交的 token 数，并根据节点数以及子树所激活专家的逐层并集预测周期时间；该并集是单调次模覆盖函数，因此每个节点只需为其新增的专家付出代价。对祖先封闭子树的精确搜索返回预测吞吐量最高的子树；在每个草稿层级之后运行，同一搜索还决定何时停止起草，并由未修改的目标模型验证结果。在 CNN/DailyMail 摘要任务和 Qwen3-30B-A3B 的 GSM8K 子集上，SpecFit 在相同专家缓存下比 EAGLE-3 解码快 21.6% 和 7.0%，是原版 EAGLE-3 的 1.97 倍和 1.72 倍。代码见 此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15417 [cs.AI] |
| （或 arXiv:2610.15417v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15417 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiuyu Li [查看邮箱]
[v1]
2026年10月11日星期日 07:41:12 UTC（55 KB）
来源：arXiv cs.AI · arxiv.org