arXiv cs.AI· Zhenhong Zhou, Mao Zheng, Mingyang Song, Qiankun Li, Kun Wang, Junfeng Fang·· 10 小时前AI 评分35
超越专家边界理解 MoE 语言模型：神经元级领域专精与 RAMPr 剪枝
Understanding Mixture-of-Experts Language Models Beyond Expert Boundaries
AI 导读
研究用 Routing-Aware Magnitude Profiling（RAMP）在神经元层面刻画 MoE 模型的领域专精：同领域多源样本的领域专精神经元集合重叠达 58-74%，跨领域仅 15-24%。
正文 · AI 翻译
摘要：在混合专家（MoE）模型中，专家专门化的本质仍存在争议。关于专家偏好与领域相关的报告，与将路由主要归因于 token 身份或句法模式的分析形成对比。为厘清这些不同说法，我们超越专家级路由，使用为本分析开发的 Routing-Aware Magnitude Profiling（RAMP）来研究领域专门化计算的神经元级组织。利用混合领域校准数据，我们识别出领域专门化神经元集合，同一领域多源样本间的重叠率为 58-74%，而跨领域重叠率为 15-24%。为理解这种组织在训练过程中如何演变，我们在三个完全开放的 MoE 系列中追踪预训练和后训练期间的神经元重要性。尽管专家级重要性排名相对稳定，神经元重要性在预训练检查点之间仍持续重组，而后训练在很大程度上保留了神经元排名。基于这些神经元级视角，我们进一步引入基于 RAMP 的剪枝（RAMPr），跨专家选择神经元，以均衡地保持多领域能力。在保留 75% 神经元时，RAMPr 在六个模型上平均保留了原始完整性能的 91-98%。在保留 50% 时，我们的剪枝方法可将常驻 GPU 内存减少 36-43%，并有效提升批量预填充吞吐量 17-39%。我们的代码可在 此 https URL 获取
| 评论： | 55 页 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13975 [cs.AI] |
| （或 arXiv:2611.13975v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13975 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhenhong Zhou [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 12:14:57 UTC（5,538 KB）
来源：arXiv cs.AI · arxiv.org