arXiv cs.CL· Kevin Glocker, K\"atriin Kukk, Romina Oji, Marcel Bollmann, Marco Kuhlmann, Jenny Kunz·· 10 小时前AI 评分27
突破多语言诅咒：高效语言适配的扩展策略
Outgrowing the Curse of Multilinguality: Scaling Strategies for Efficient Language Adaptation
AI 导读
研究发现，从英语基座模型进行参数扩展（upscaling）是提升目标语言性能的高效适配策略，可缓解容量约束，对高资源语言尤其有效。在低资源场景下，先在英语上做初步扩展有益；而在高资源场景下，直接在目标语言上扩展计算效率更高，尽管多数语言的数据效率会略有牺牲。对于多语言持续预训练，直接用目标数据扩展是兼顾数据效率与减少英语遗忘的最优方案。
正文 · AI 翻译
摘要：训练包含中低资源语言的高性能语言模型仍然是一项挑战。由于多语言诅咒，大规模多语言模型的表现仍不及针对特定语言的适配版本，在较小规模时尤为如此。在本工作中，我们研究将扩展规模作为将预训练模型适配到新目标语言的一种高效策略。通过针对数据和训练 FLOPs 进行匹配的全面消融实验，我们检验了从英语基础模型进行规模扩展，是否比标准的持续预训练能够实现更有效且资源效率更高的适配。我们发现，规模扩展通过缓解容量限制，是提升目标语言性能的一种高效策略，对资源较多的语言尤为如此。在英语上进行初步的规模扩展步骤对低资源语言有益。然而，在资源较多的场景中，直接在目标语言上扩展规模在计算上更高效，尽管对大多数语言而言会略微牺牲数据效率。对于多语言持续预训练，我们发现直接使用目标数据扩展规模，是在数据效率和减少英语遗忘两方面均为最优的设置。
| 评论： | 发表于 AACL-IJCNLP 2026 Findings 的长论文 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2512.10772 [cs.CL] |
| （或本版本的 arXiv:2512.10772v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2512.10772 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: IJCNLP-AACL 2026, pp. 4329-4344 |
提交历史
来自：Kevin Glocker [查看邮箱]
[v1]
2025年12月11日 星期四 16:09:54 UTC（125 KB）
[v2]
2026年11月6日 星期五 16:22:36 UTC（230 KB）
来源：arXiv cs.CL · arxiv.org