用计算与数据约束重写合成数据的 Scaling Law

查看 PDF HTML（实验性）

摘要：合成重写，即由语言模型将自然文档重写为例如目标风格，现已成为预训练语料的标准组成部分。然而，其使用中的关键方面仍鲜为人知，例如应在重写训练数据上投入多少算力，以及基于重写数据训练的模型能否超越重写器本身。我们通过提出一条重写缩放定律来研究这两个问题，该定律根据模型规模、训练 token 数、重写 token 占训练 token 的比例以及在自然数据上的训练轮数来预测损失，并将生成重写所消耗的算力计入其中。我们在两种设定下拟合该缩放定律。在算力受限设定下，自然数据充足，重写来自第三方重写器，其训练算力超过我们最大规模的运行。我们发现，估计的最优重写比例随算力增加而上升，从 $3\times10^{18}$ FLOPs 时的不足 $10\%$ 升至 $10^{22}$ FLOPs 时的 $32\%$。我们的缩放预测外推了 $33\times$ 的 FLOPs 以训练一个 22B 参数模型，其最终损失与我们的预测相差在 $1.1\%$ 以内。该模型在多个网络域上以重写器训练算力的十分之一取得了比重写器更好的 BPB。在数据受限设定下，我们假设仅拥有固定的自然数据种子集，且重写器是与目标模型规模相同、在该种子集上预训练的模型。同样，我们发现最优重写比例随算力预算增加而上升。我们还证明，在由同规模重写器生成的、基于其自身预训练数据的重写数据上训练的模型，在直至 3B 的每个模型规模上都优于仅使用自然数据的最佳运行。我们的结果表明，合成重写可以通过缩放定律的视角来研究：最优方法选择是可预测的，且缩放并不一定会在超出重写器能力后失效。

学科：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.31867 [cs.LG]
	（或 arXiv:2610.31867v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.31867 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Nicholas Roberts [查看邮箱]
[v1] 2026年10月22日星期四 19:56:45 UTC（1,639 KB）