arXiv cs.CL· Tomas Rasymas, Povilas Kvedaras·· 11 小时前AI 评分31
英语校准侵蚀倍专家剪枝 MoE 模型中的立陶宛语能力
English Calibration Erodes Lithuanian in Expert-Pruned Mixture-of-Experts Language Models
AI 导读
研究用 REAP 对四个 MoE 模型做专家剪枝，剪掉 25% 或 50% 专家后发现英语校准无法迁移到立陶宛语：25% 剪枝下英语理解中位数仅降 1.7 分，立陶宛语却降 21.4 分。
正文 · AI 翻译
摘要：专家剪枝通过移除校准集标记为不重要的专家来压缩混合专家（MoE）语言模型。针对高资源语言的研究大多发现，英语校准能很好地迁移到其他语言。我们以立陶宛语对此进行检验：使用 REAP 对四个 MoE 模型进行剪枝，分别以英语、立陶宛语或混合校准移除 25% 或 50% 的专家，并在阅读理解、翻译和语言建模任务上评估这两种语言。英语校准无法迁移到立陶宛语：在 25% 剪枝下，英语理解中位数下降 1.7 分，而立陶宛语下降 21.4 分。这种迁移是不对称的。立陶宛语校准消除了大部分立陶宛语损失，且从未显著损害英语理解，后者平均比英语校准下高 2.5 分；只有英语语言建模略有变差。路由分析揭示了原因：在最后几层中，立陶宛语将其 55-72% 的专家选择集中到仅八个专家上，而英语为 19-39%，且英语校准移除了其中一些专家。压缩模型应在其必须服务的每种语言中进行校准和评估。
| 评论： | 41 页，13 幅图，10 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07654 [cs.CL] |
| （或 arXiv:2611.07654v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07654 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tomas Rasymas [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 08:39:28 UTC（501 KB）
来源：arXiv cs.CL · arxiv.org