arXiv cs.CL· Zhihong Huang, Yao Lu, Derek F. Wong, Hamid Alinejad-Rokny, Min Yang·· 12 小时前AI 评分27
如何利用平行数据做多语言预训练
How to Use Parallel Data for Multilingual Pretraining
AI 导读
研究提出平行预训练（PPT）方法，将每篇文档与其译文拼接在同一训练序列中，以利用平行数据的结构改进多语言预训练。在匹配 token 预算下从头训练发现，PPT 单独使用并不能稳定提升语言理解，但能构建更强的跨语言基础。据此提出的两阶段方法先用 PPT 建立跨语言基础、再用标准预训练（SPT）适配，在高资源和低资源场景下均稳定优于单独使用 SPT。
正文 · AI 翻译
摘要：高质量的人工翻译平行语料可以提升跨语言迁移效果，但其规模通常太小，无法用于大规模预训练。机器翻译的网络语料有助于克服这一限制，使平行数据在预训练规模上可用。然而，标准的多语言预训练会独立采样源文档及其译文，并未显式利用其平行结构。我们研究了如何利用数据的平行结构来改进多语言预训练，方法是将每个文档与其译文拼接在同一条训练序列中。我们在匹配的 token 预算下从头训练模型，将这种平行预训练（PPT）方法与标准预训练（SPT）进行比较。令人意外的是，尽管先前跨语言工作报告了平行数据带来的收益，但仅使用 PPT 并不能稳定地提升语言理解能力，其表现不及 SPT。我们的进一步分析表明，尽管 PPT 构建了强大的跨语言基础（这体现在它更好地利用了跨语言的共享信息），但平行训练上下文与单语言任务输入之间的不匹配限制了它在通用语言理解上的收益。这一发现促使我们采用遵循预训练-微调范式的两阶段方法：我们首先使用 PPT 构建跨语言基础，然后继续使用 SPT 使其适应标准语言建模。在高资源和低资源两种设置下，在匹配的训练预算下，两阶段方法相比仅使用标准预训练，能够稳定地提升通用语言理解和跨语言任务表现。
| 评论： | 18 页，7 幅图，14 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28838 [cs.CL] |
| （或 arXiv:2610.28838v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.28838 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhihong Huang [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 19:07:04 UTC（1,246 KB）
来源：arXiv cs.CL · arxiv.org