arXiv cs.CL· JiWoo Hwang, Lukas Edman, Alexander Fraser·· 3 天前AI 评分22
多语言 BabyLM 预训练研究：语言暴露的分布与顺序如何影响性能
Language Exposure Matters: Distribution and Order in Multilingual BabyLM Pre-training
AI 导读
研究考察了英语、荷兰语和中文在有限数据多语言预训练中的暴露分布与顺序，发现混合训练在全部 15 组匹配配置中均优于课程学习，同时多语言暴露比分阶段暴露更有效。语言主导的混合训练配置得分可高于均衡配置，其中荷兰语主导配置整体表现最佳。
正文 · AI 翻译
摘要：我们研究了在数据有限的情况下多语言预训练的两个方面，即语言暴露如何在英语、荷兰语和中文之间分配，以及这种暴露在训练过程中如何排序。具体而言，我们将均衡的多语言暴露与语言主导暴露进行比较，后者指一种语言比其他语言获得更多训练数据的暴露。我们还将混合训练（在整个训练过程中使用多语言训练数据）与课程训练（先进行主导语言的单语暴露，然后进行均衡的多语言暴露）进行比较。我们的结果表明，多语言 BabyLM 的性能随语言暴露的数量和顺序而变化。在全部 15 种匹配配置中，混合训练均优于课程学习，这表明在我们的设置中，同时进行多语言暴露比分阶段暴露更有效。若干语言主导的混合训练配置得分高于均衡配置，这表明在我们的设置中，均衡分布未必是性能最高的配置。有趣的是，荷兰语主导的配置取得了最佳整体性能。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20102 [cs.CL] |
| （或 arXiv:2610.20102v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20102 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
发件人：JiWoo Hwang [查看电子邮件]
[v1]
2026年10月14日星期三 12:37:19 UTC（492 KB）
来源：arXiv cs.CL · arxiv.org