arXiv cs.AI· Geunhyoung Kim, Sung Ju Hwang·· 12 小时前AI 评分34
MoE 解码的通道选择无需校准数据：top-k 选择器与权重内置 reader 提速 vLLM 1.60-2.69 倍
Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data
AI 导读
研究表明 MoE 模型解码时的通道选择无需校准数据：按 18% 读取预算校准的阈值实际平均只读取 12.9%，而 top-k 选择器在 43 项对比中有 40 项持平或优于阈值版本，并避免了 Gemma 4 上的重复循环崩溃。
正文 · AI 翻译
摘要：混合专家（MoE）模型在小批量交互式解码时，受限于从内存加载路由专家权重的瓶颈。由于路由专家中的大多数中间通道对任何单个 token 的贡献都很小，通道选择器会预测哪些通道重要并只读取它们的权重，通常保留高于在离线数据上校准的阈值的通道。我们表明，通道选择无需校准数据。首先，校准后的阈值并不能固定选择器读取多少通道，因为通过该阈值的通道数会随输入而变化；在针对 18% 读取预算校准阈值的情况下，Prox 在我们的基准测试中平均实际只读取了 12.9%。其次，top-k 保留每个 token 得分最高的 k 个通道，且无需校准数据。在校准预算下，选择器的 top-k 版本在 13% 和 18% 预算下的 43 次比较中有 40 次在相同得分上达到或超过其阈值版本，包括生成任务上的全部 23 次。top-k 版本还避免了校准阈值在 Gemma 4 上导致的重复循环崩溃。因此，校准阈值既不能提供选择器使用它的两个目的之一：已知的读取预算，以及在该预算下一致的准确率提升。此外，我们引入了一种完全由模型权重构建的读取器，它用三值草图筛选通道，并用低秩映射恢复被跳过的通道。在三个经过后训练的 MoE 模型上，我们的读取器在 17.8% 的路由专家读取量下保留了全模型 98.1% 的准确率，在相同三个模型上，Triton 内核在批量大小为 1 时运行 MoE 块比优化后的 vLLM 快 1.60 至 1.90 倍，在更大批量下最高快 2.69 倍。
| 评论： | 37 页，12 幅图。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37386 [cs.LG] |
| （或 arXiv:2610.37386v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37386 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Geunhyoung Kim [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 15:11:35 UTC（693 KB）
来源：arXiv cs.AI · arxiv.org