arXiv cs.AI· Ilya Lasy, Nora Yinuo Cai, Kola Ayonrinde·· 9 天前AI 评分25
RouterInterp：理解 MoE 路由中的叠加特化现象
RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing
AI 导读
研究提出叠加特化假设（SSH），认为 MoE 专家并非专精单一领域，而是专精于细粒度特征的并集。基于该假设的方法 RouterInterp 在 gpt-oss-20b 上解释专家路由，检测准确率比此前基于 token 统计的方法高约 65%。该工作为生成更准确的专家路由解释提供了可扩展方法，论文已被 ICML 2026 收录。
正文 · AI 翻译
摘要：稀疏混合专家（MoE）模型通过将 token 路由到模块化的专家网络，使这些网络仅对一小部分 token 的处理处于激活状态，从而比稠密模型更高效地扩展规模。关于 MoE 模型性能的一个主流假说是，每个专家专门负责一个单一且连贯的领域。然而，基于这一假说所做的可解释性研究通常并不成功。我们提出并给出了另一种解释的证据，称之为叠加专业化假说（SSH）：专家专门负责的是细粒度特征的不相交并集，而非一个宽泛的领域。借助 SSH，我们提出了 RouterInterp，一种用于解释专家路由的方法，它能够识别对路由决策最具预测性的稀疏自编码器特征，并生成统一的自然语言解释。在 gpt-oss-20b 上，RouterInterp 解释专家路由的检测准确率比先前基于 token 统计的方法高出约 ${\sim}65\%$。这项工作提供了一种可扩展的方法，用于生成更准确的专家路由解释，并加深了我们对基础模型中此前无法解释的组件的理解。
| 评论： | 33 页（12 页非附录页），7 幅图，作为会议论文发表于 ICML 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用格式： | arXiv:2610.11775 [cs.AI] |
| （或使用 arXiv:2610.11775v1 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.11775 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Ilya Lasy [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 11:55:25 UTC（990 KB）
来源：arXiv cs.AI · arxiv.org