arXiv cs.CL· Felicia K\"orner, Maria Matveev, Florian Eichin, Gitta Kutyniok, Barbara Plank, Michael A. Hedderich·· 6 天前AI 评分24
多语言预训练中翻译能力如何发展：先复制，后翻译
Copy First, Translate Later: Interpreting Translation Dynamics in Multilingual Pretraining
AI 导读
研究者预训练了一个覆盖九种语言的 1.7B 多语言模型，以词级翻译为测试任务追踪翻译能力的早期发展轨迹。结果显示，模型在快速习得基础语言能力的同时进行 token 级复制，翻译则分两阶段发展：初期由复制和表层相似性主导，后期才形成更具泛化性的翻译机制并细化复制。该工作获 EMNLP Main 2026 接收，代码、模型 checkpoint 和数据集均已公开。
正文 · AI 翻译
摘要：大型语言模型展现出令人印象深刻的跨语言能力。然而，先前的工作通过孤立因素和在训练中的稀疏时间点来分析这一现象，限制了我们对跨语言泛化如何涌现的理解——尤其是在学习的早期阶段。为了研究语言与翻译能力的早期轨迹，我们在九种不同语言上预训练了一个多语言 1.7B 模型，并以更细的粒度捕获检查点。我们以词级翻译作为试验台，引入了一个新数据集，通过行为分析、模型组件分析和基于参数的消融来追踪翻译在训练过程中如何发展。我们发现，模型在 token 级复制的同时迅速习得基本语言能力，而翻译则分两个不同阶段发展：初始阶段以复制和表层相似性为主，第二阶段则发展出更具泛化性的翻译机制，同时复制得到精炼。总之，这些发现为跨语言泛化在多语言预训练期间如何发展提供了细粒度的视角。
| 评论： | 9 页，被 EMNLP Main 2026 接收，代码、模型检查点和数据集可用 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2604.17633 [cs.CL] |
| （或 arXiv:2604.17633v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.17633 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Felicia Körner [查看电子邮件]
[v1]
2026 年 4 月 19 日星期日 22:03:29 UTC（2,752 KB）
[v2]
2026 年 6 月 26 日星期五 09:55:26 UTC（3,231 KB）
[v3]
2026 年 10 月 8 日星期四 19:57:06 UTC（3,212 KB）
来源：arXiv cs.CL · arxiv.org