研究提出并行预训练两阶段多语言方法

Zhihong Huang 等作者发表研究，提出平行预训练（PPT）方法：将每篇文档与其译文拼接在同一训练序列中，以利用平行数据的结构改进多语言预训练。在匹配 token 预算下从头训练发现，PPT 单独使用并不能稳定提升语言理解，但能构建更强的跨语言基础。 据此，研究提出两阶段方法：先用 PPT 建立跨语言基础，再用标准预训练（SPT）适配。作者称，该方法在高资源和低资源场景下均稳定优于单独使用 SPT。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。