arXiv cs.AI· Siming Huang·· 14 小时前AI 评分31
Prefetch-Steered Routing：面向卸载 MoE 解码的确定性缓存感知专家选择
Prefetch-Steered Routing: Deterministic Cache-Aware Expert Selection for Offloaded Mixture-of-Experts Decoding
AI 导读
研究者提出 prefetch-steered routing（PSR），让路由基于确定性逻辑缓存决策，每层每 token 最多插入下一层 router 预测的 n 个专家，物理拷贝只影响延迟。
正文 · AI 翻译
摘要：当混合专家（MoE）模型无法完整放入 GPU 显存时，batch-1 解码主要受限于从主机内存复制专家权重。缓存感知路由通过将路由器偏向常驻专家来减少这些复制，但与异步预取结合后，会使模型输出依赖于传输时序，因此不模拟该时序的测试框架便不再能评估实际部署的模型。我们提出预取引导路由（PSR）：路由基于一个确定性的逻辑缓存进行条件判断，每层每 token 最多插入由下一层路由器预测的 n 个专家；物理复制只影响延迟。在 RTX 4090 上以 50% 和 25% 专家常驻运行 OLMoE-1B-7B 时，PSR 的解码速度比采用 LRU 的精确路由快 2.2-2.3 倍，比 Cache-Prior 工作点快 25-30%，基准测试平均差异为 +0.1 和 +0.5 分（95% 下界为 -0.8 和 -0.3）。在贪心生成中，其相对 Cache-Prior 的领先取决于工作负载，并在 50% 常驻率下的 HumanEval 上发生反转。在 Moonlight-16B-A3B 上，37.5% 常驻率时 PSR 比采用 LRU 的精确路由快 1.9 倍，且在 Cache-Prior 的延迟下，在八个基准中的三个上显著更优。在 Qwen3.6-35B-A3B 上，复制相对计算开销较低，PSR 在似然基准上保持了对 Cache-Prior 的优势，但速度优势不再。蒸馏训练的门控没有帮助。在 OLMoE 上，采用块级专家选择的推测解码比使用 1B 自回归草稿模型的 PSR 更慢，但在 Qwen3.6 上使用块草稿模型时，在我们计时的 64 个提示上，它比任何在 GPU 显存不超过其配置的自回归配置快 2.1-2.9 倍。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.34721 [cs.AI] |
| （或 arXiv:2610.34721v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34721 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siming Huang [查看邮箱]
[v1]
2026年10月26日 星期一 02:19:12 UTC（355 KB）
来源：arXiv cs.AI · arxiv.org