Apple 研究：双语预训练混合数据在数据受限场景下优于超参数调优

作者Paul Jeha†**、Anastasiia Sedova、Louis Béthune、Skyler Seto、Jes Frellsen†‡、Pierre Ablin‡、Natalie Schluter‡

对于世界上大多数语言，语言模型预训练处于数据受限的状态，模型必须多次重复其训练数据，从而降低泛化能力。存在两种补救措施：激进的超参数调优（例如高权重衰减），以及混入来自高资源辅助语言的数据以直接帮助低资源目标语言。超参数调优通过收缩权重来限制网络容量以正则化模型，而辅助数据混合则使用可调的混合比例来扩展训练分布，并用新知识使训练信号多样化。两者都为在数据受限领域改进训练提供了有原则的方法。我们在从 1.5 亿到 14.3 亿参数的四种模型规模上系统地比较了这些手段，以阿拉伯语作为低资源目标语言、英语作为辅助语言，进行了约 1000 次预训练运行。得出了三个发现。第一，在验证损失和下游任务准确率上，混合比超参数调优带来更大的改进，并且差距随模型规模增大而扩大。第二，我们量化了混合的帮助程度：在验证损失上，它带来的性能提升相当于 2–3 倍的目标语言独有数据，在下游任务准确率上相当于 2–13 倍，且增益随模型规模急剧增长。第三，这种差异表明，目标语言验证损失系统性地低估了混合的价值。混合通过使训练信号多样化来正则化，并贡献了重复的目标语料库无法提供的新知识；验证损失只捕捉到了第一种效应。我们的实用建议是：混入一种高资源语言，优先考虑混合比例而非超参数调优，并通过 μP 从小型代理模型迁移超参数。

• † DTU
• ‡ 同等资深作者
• ** 在 Apple 工作期间完成

相关阅读和更新。

超参数调优可以极大地影响大规模模型的训练稳定性和最终性能。近期关于神经网络参数化（例如 μP）的研究使得最优全局超参数能够在不同模型规模之间迁移。这些工作提出了一种经验做法：在小型模型规模上搜索最优全局基础超参数，然后迁移到大规模。我们以两个关键方式扩展了这些工作。为了处理扩展……

阅读更多

获得在目标领域表现良好的语言模型的一种普遍策略是，通过训练模型在该领域数据上进行无监督的下一词元预测来对其进行微调。 微调面临两个挑战：i) 如果目标数据量有限，正如大多数实际应用中的情况，模型会很快过拟合；ii) 模型会偏离原始模型并遗忘预训练……

阅读更多