arXiv cs.CL· Yunkai Chai, Tong Zhu, Xiaoye Qu, Xuyang Hu, Guanjie Chen, Qipeng Guo, Yu Cheng·· 9 天前AI 评分22
为稀疏 MoE 平滑 top-k 专家边界：Elastic Expert Routing
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
AI 导读
研究者提出 Elastic Expert Routing，从以 k 为中心的局部离散分布中随机采样激活专家预算，把传统 top-k 的刚性阈值软化为渐进概率分布，且采样邻域对称，训练算力开销与确定性训练相当、推理预算不变。
正文 · AI 翻译
摘要：稀疏混合专家模型在保持每个 token 固定计算预算的同时，高效地扩展了参数容量。然而，传统训练范式强制采用静态的 top-$k$ 专家选择，这会将连续的 routing 分布转换为刚性的阶跃函数。这一约束引入了一个脆弱的边界，使得竞争激烈的专家仅因微小的分数波动就被任意划分为完全监督区和零反馈区。为解决这一问题，我们提出了弹性专家路由（Elastic Expert Routing），它从以 $k$ 为中心的局部离散分布中随机采样活跃专家预算。在多次训练迭代中，该机制将尖锐的阈值软化为渐变的概率分布。由于采样邻域保持对称，该方法在匹配确定性训练预期计算成本的同时，保留了推理预算。大量实验证明了我们的方法在监督微调和从头预训练设置中的有效性。在监督微调期间，弹性路由在 OLMoE-1B-7B 和 Qwen3-30B-A3B 上将下游宏平均分别提升了 $+0.84$ 和 $+2.02$ 个点。此外，在从头预训练中，它在下游任务上平均比静态 top-$k$ 基线高出 $1.6$ 个点。
| 评论： | 13 页，4 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11575 [cs.CL] |
| （或 arXiv:2610.11575v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11575 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yunkai Chai [查看电子邮件]
[v1]
2026年10月8日星期四 09:31:19 UTC（157 KB）
来源：arXiv cs.CL · arxiv.org