arXiv cs.AI· Jakob Steimle, Thomas Elsken, Daniel Ehrhardt, Lukas Rinder, Daniel Cremers, Xi Wang·· 11 小时前AI 评分34
别跳过基线：MoE 动态专家跳过方法的受控对比研究
Don't Skip the Baseline: A Controlled Comparison of Dynamic Expert Skipping in MoEs
AI 导读
研究将四种代表性 MoE 动态专家跳过方法归入统一分类，并在 Gemma4-26B-A4B、Qwen3-30B-A3B 及多模态 Qwen3-VL 上，与"静态降低专家数 k"这一简单基线在同等专家计算预算下对比。
正文 · AI 翻译
摘要：越来越多的研究为混合专家（MoE）模型提出动态专家跳过方法，在推理时调整每个 token 激活的专家数量，旨在保持模型质量的同时进一步减少激活参数数量。这些方法通过加入校准的重要性分数、专家间相似度指标或学习到的逐 token 分配器来识别要跳过的专家。然而，不同的校准方案、有效专家数量的不同缩减幅度以及不同的评估套件使得比较变得困难。我们将四种有代表性的先前方法归入一个统一的分类体系，并将它们与一个自然、简单的基线进行基准比较：静态减少专家数量 $k$（即在所有层和所有 token 上使用相同的缩减后 $k$）。我们在匹配的专家计算预算下，对两个现代 MoE（Gemma4-26B-A4B 和 Qwen3-30B-A3B）在纯文本设置下，以及一个当代视觉语言模型（Qwen3-VL）在多模态设置下，对这些方法进行了公平比较。令人惊讶的是，我们发现这个简单基线很难在模型、模态、基准和校准设置上被持续超越。我们基准测试的方法往往表现不如基线，即使有收益也微不足道。我们进一步发现，在校准中达到（或优化）的有效 $k$ 可能与测试中的有效 $k$ 不一致，导致在推理时高估或低估计算量。基于这些发现，我们建议采用免校准的按模态静态 $k$ 缩减，并在一个留出模型和模态上进行了验证。我们进一步主张，在匹配的实测计算量下进行静态控制，是任何动态跳过方法都必须超越的基线。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28369 [cs.LG] |
| （或 arXiv:2610.28369v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28369 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jakob Steimle [查看电子邮件]
[v1]
2026年10月20日星期二 15:29:19 UTC（263 KB）
来源：arXiv cs.AI · arxiv.org