arXiv cs.CL· Joel Dag, Nikit Srivastava, Hamada M. Zahera, Axel-Cyrille Ngonga Ngomo·· 3 天前AI 评分24
多语言 MoE 如何随语言覆盖改变容量与算力分配
Scaling Multilingual Mixture-of-Experts: How Language Coverage Changes Capacity and Compute Allocation
AI 导读
研究提出一种考虑重复的联合缩放定律，关联激活参数量、每语言训练 token 数、专家数量与语言覆盖，基于 64 个预训练配置的 26,300 条单语言 loss 观测拟合，在留出配置上预测误差比最强基线降低 28%。
正文 · AI 翻译
摘要：多语言模型在各语言间共享容量，因此增加语言可能会损害现有语言的性能。混合专家模型以极少的额外每 token 计算量扩展了这一容量。鉴于这种额外容量，增加专家是否会降低每种新增语言的成本？为回答这一问题，我们提出了一种重复感知的联合缩放定律，将活跃参数数量、每种语言的训练 token 数、专家数量与语言覆盖范围关联起来。该定律基于来自 64 个预训练配置的 26,300 个逐语言损失观测值拟合而成，在留出配置上将预测误差相对于最强评估基线降低了 28%。在活跃参数数量和每种语言训练 token 数匹配的情况下，与稠密模型相比，32 个专家将语言数量从 12 扩展到 200 所带来的损失惩罚降低了 83%。我们的定律进一步表明，在更广泛的计算预算范围内，更广的语言覆盖范围有利于使用更多专家，从而为多语言模型扩展时的容量分配提供指导。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20247 [cs.CL] |
| （或 arXiv:2610.20247v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20247 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Nikit Srivastava [查看电子邮件]
[v1]
2026年10月14日星期三 14:20:19 UTC（248 KB）
来源：arXiv cs.CL · arxiv.org