arXiv cs.AI· Alexander Stern, Tim Rockt\"aschel, Acyr Locatelli, Laura Ruis·· 13 小时前AI 评分38
重新审视预预训练：合成数据阶段难超纯自然语言训练
Rethinking Pre-pretraining
AI 导读
计算量匹配的实验显示，将算力投入合成预预训练（PPT）在四种课程与三种训练机制下均未超过纯自然语言训练。在 881M 参数、50B token 的高 token/参数比设置中，自然语言稀缺时重复 100M token 语料反而优于所有合成课程。此前报告的 PPT 收益对权重初始化方案敏感，NCA 复现中原始初始化下可获 5.4% 困惑度改善，且模型会在后续自然语言训练中遗忘 PPT 所学内容。
正文 · AI 翻译
摘要：我们报告，在计算量匹配的实验中，将计算资源分配给合成预预训练（PPT）的效果从未优于纯自然语言训练。这一结论在四种 PPT 课程（k-Dyck、神经细胞自动机（NCA）、声明式参考语料库和代码）以及三种训练机制下均成立：数据受限、数据不受限，以及高 token 与参数比机制（8.81 亿参数在 500 亿 token 上训练）。当自然语言稀缺时，在 1 亿 token 语料库上重复多轮训练，在自然语言验证损失上优于所有合成课程，且 PPT 未带来一致的下游准确率优势。我们发现，先前工作报告的 PPT 收益对权重初始化方案敏感。在 NCA 复现中，我们在原始初始化方案下复现了 PPT 带来的 5.4% 困惑度改进。另一种方案改善了两种方法，但对无 PPT 基线的改善更大，从而缩小了两者之间的差距。然而，当 PPT 获得额外计算资源而非分享自然语言预算时，即使采用改进的初始化，在较小的自然语言预算下收益仍然存在，但到 10 亿 token 时消失。最后，模型在后续自然语言训练中会遗忘 PPT 期间学到的内容；在整个训练过程中交错使用相同数据可防止遗忘，但不会显著改善自然语言性能。我们的结果表明，合成预预训练作为一个独立训练阶段的收益有限，并促使我们重新思考此类数据在语言模型训练中的使用方式。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40051 [cs.CL] |
| （或 arXiv:2610.40051v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40051 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alexander Stern [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 13:45:58 UTC（745 KB）
来源：arXiv cs.AI · arxiv.org