Datology 发布 Curation Studio，称数据筛选可带来 6 倍算力乘数

仅靠数据策管实现 6× 计算量倍增

在 Datology，我们的目标是让任何训练自己模型的人都能获得前沿的数据策管能力。无论你的计算预算有多少，你的数据决定了你能训练出多好的模型。在我们的实验中，策管后的数据在我们训练的每一个规模上都产生了更好的模型，而我们最大的基线需要 6 倍于策管数据所达到质量所需的训练计算量才能与之匹敌。

别只听我们的一面之词。下面的探索器提供了按模型规模、训练阶段和评估划分的完整结果。接下来我们将展示策管如何带来这些收益，以及我们是如何衡量它们的。

更好的数据能让更小的模型以更少的训练达到更高的性能水平。在我们的实验中，一个使用 440B token 策管数据训练的 12B-A1.4B 模型，在整体数学和代码能力上超过了使用 1T token 基线数据训练的 30B-A3B 模型，而所需的活跃参数不到一半，预训练计算量约为五分之一。有了策管，你不仅在训练模型时节省，在每次推理时也节省。

策管优势始于预训练

在多种预训练评估模式下，策管模型以预训练计算量的一小部分就达到了基线的评估分数。在自由形式问答基准上，同样的优势还表现为每字节比特数稳定提升 10–12%，这一优势在跨越近三个数量级预训练计算量（3.9e19 到 3.7e22）的五个规模上均成立，从几十美元的 GPU 时间到数万美元。

在跨越三个数量级的预训练规模上，策管使平均每字节比特损失改善 10-12%。

策管优势在后训练中更加明显

关键在于，后训练并没有缩小基线与策管模型之间的差距；预训练策管的优势在后训练中依然保持。策管在我们进行后训练的每一个规模上都改善了结果，我们的策管模型以少 6 倍的预训练计算量就达到了最大基线的分数。在最大规模上，我们的 30B-A3B 策管模型在平均基准分数上以 46.8% 对 37.7% 击败了基线对应模型。最终模型性能的提升广泛而显著，涵盖通用推理、数学、编程、多语言和工具使用能力。细分来看，我们在数学和代码方面看到了大幅提升：AIME 2025 从 19.4 升至 35.6（+16.2 分），HumanEval++ 从 54.1 升至 70.2（+16.1），MATH-500 从 76.4 升至 89.6（+13.2）。与预训练一样，基线和策管模型的后训练配方完全相同，包括上下文扩展、SFT 和 RLVR。模型之间唯一的区别就是预训练数据。

策管在广泛的最终模型能力上带来了大幅提升，涵盖通用推理、数学、编程、多语言和工具使用任务。

在最佳开放数据之上进行策管

击败一个弱基线很容易，所以我们用最好的公开策管数据集构建了尽可能最难的基线，使比较真正具有挑战性。

为了在真实环境中测试我们的产品，我们首先收集了 39 个数据集，它们代表了公开可用的、经过最佳整理的大语言模型训练数据。我们纳入了 NVIDIA 最新的 Nemotron 系列中的一些发布，涵盖预训练和合成 SFT 风格数据，以及名为 The Stack v3 的庞大代码仓库，还有久经考验的来源如 FineWeb 和 DCLM，从而覆盖了大语言模型智能的几个核心方面。

基于这些来源，我们设计了两个 10 万亿 token 的数据集。对于基线，我们参考了 OLMo 3、Nemotron 3 和 IBM Granite 4.1 等已发布的配方，构建了一个强大的来源混合。在来源和混合比例之间，我们相信我们的基线代表了在不使用定制工具的情况下，使用开放数据所能达到的上限。对于精选数据集，我们使用默认设置将完全相同的来源通过 Datology Curation Studio 运行。

一个更强的基线

我们的基线比更简单的替代方案更强。

为了展示我们基线的强度，我们在来自精选数据、我们的强基线以及另外几种现成预训练数据选项的 190B token 上训练了多个 4B-A0.6B 模型。为了填补常用基准 FineWeb-Edu 数据集与我们的强基线之间的中间地带，我们将专门的数学和代码数据集混合在一起，形成 FineWeb-Edu、MegaMath Web 和 The Stack v2 的 2:1:1 混合。这种“Web/Math/Code A”混合在所有方面都优于纯 FineWeb-Edu。

将此混合更新为包含 Nemotron-CC 数据集（网络数据来自 Nemotron-CC-v2，数学数据来自 Nemotron-CC-Math-v1，代码来自 The Stack v3）后，得到了“Web/Math/Code B”混合，取得了进一步的提升，展示了这些近期数据集的质量。我们基线的整体平均每字节比特数还要好 3%，而且其混合比例可以扩展到 10 万亿 token（2:1:1 的配方将不得不将 1330 亿 token 的 Nemotron-CC-Math-v1 重复近 20 次才能达到该规模）。

因此，基线为精选工作设定了一个需要跨越的高标准。

相同的预训练，相同的后训练

在处理基线和精选训练数据集时，我们保持了训练配方完全相同。在预训练时，我们针对基线调整了优化器，并将我们的设置复用到精选数据上。为了追踪精选对后训练全程的影响，我们将三个最大的模型进行了上下文扩展、SFT 和 RLVR，对基线和精选模型应用了完全相同的后训练配方。

为了确保实验覆盖不同的训练规模，我们训练了五种规模的模型，并在每种规模上采用了按比例匹配的训练设置（每个活跃参数的 token 数和宽度与深度的缩放）。

Datology Curation Studio 如何工作

训练模型是一项重大投资。你的数据以及你如何准备数据，决定了这项投资是打水漂还是一飞冲天。Datology Curation Studio 负责这种准备工作，通过利用我们多年在开发和构建最先进精选流水线方面的研究和工程工作，帮助团队大幅提升其训练数据。

数据整理是一种力量倍增器，能够放大其输入中所蕴含的潜力。将那些使我们的基线如此强大的相同源数据集与内置于我们产品中的整理研发相结合，使我们能够产出迄今为止所整理的最佳通用预训练数据集。

它是如何工作的？我们在这里将聚焦于几个高层次的总结，但请留意后续发布。

数学。得益于底层的 Luxical 技术，我们的数学整理以闪电般的速度对数学和推理价值进行了广泛的高质量评分，并通过多种专有策略生成了数十亿 token 的高质量合成数学数据。

值得注意的是，Datology Curation Studio 还立即识别并缓解了最简单的数据危害之一：广泛的重复泄漏，它从 MegaMath 和 UltraData-Math 等数据集背后的流水线中溜了过去，缓解了这些广泛使用的来源中有时超过 1,000 倍的意外重复。

代码。Datology Curation Studio 使用多阶段分类级联来识别并平衡跨语言的高质量内容，然后通过复杂的、语言感知的合成数据生成来扩展其价值。

合成数据。Datology Curation Studio 超越了我们前沿的 BeyondWeb 研究，用合成数据丰富你最好的来源，智能地选择改写什么以及如何改写。

多语言。许多人曾经相信所谓的多语言诅咒，即添加语言会稀释模型质量，直到我们的 ÜberWeb 研究表明这通常只是一个数据质量问题。Datology Curation Studio 开箱即用地为你消除了这个问题，跨语言提供同样高质量的输出数据。

混合。为了将所有数据源最佳地混合成一个整体的训练数据集，我们训练了数千个代理模型并进行了广泛的分析，以找出在各项能力之间平衡性能的获胜混合方案，并默认搭载在 Datology Curation Studio 中。

这些以及其他默认开启的技术无缝地将我们基线背后的相同源数据转化为支撑上述结果的数据集。

过程胜过数据集

我们在公开数据和开放评估上运行了这个实验，以将我们的整理能力置于众目睽睽之下。但它所产出的数据集并不是产品。Datology Curation Studio 是一个用于产出数据集的过程，而一个过程可以做四件静态数据集做不到的事。

它运行在你的数据上。你的模型应当利用任何公开版本都永远不会包含的专有和授权来源。Thomson Reuters 在构建 Thomson-1 时应用了我们的整理来处理专有法律内容。

它针对你的优先事项进行优化。数据集的“质量”总是相对于你所关心的能力和用例而言的，改变这些就会改变什么构成最佳数据集。

它契合你的 token 预算。静态数据集只有单一规模，因此更大规模的训练意味着重复数据，收益递减甚至有害。正确的策展取决于预算：200B token 的中期训练可以做到极度精选，而 25T token 的预训练则必须用合成数据来扩充数学和代码等稀缺来源。流程可以适应任何预算，而静态数据集是为别人的需求设计的。

流程能跟上领域发展。静态数据集从发布之日起就开始过时，而流程会在每个新来源发布时重新运行，并随着我们的研究而改进。

这一流程很难复现。这里展示的结果基于三年的内部研究，全部内置于 Datology Curation Studio 中，我们很高兴今天公开发布它。使用它，你的团队可以节省我们构建这项技术所投入的时间和资源。我们也很高兴在后续的详细文章中分享我们在策展方法和评估设置方面的一些智慧。

Datology Curation Studio 已经帮助 Thomson Reuters、Hudson River Trading 和 Deepgram 等客户训练出更好的模型，并从每一美元算力中获得更多学习成果。

如果你正在训练模型，无论是从头预训练还是对开放权重基础模型进行中期训练，我们都想向你展示策展能为它带来什么。与我们的团队预约演示，或在 10 月 27 日加入我们的直播，观看 Curation Studio 的实际操作，并与研究背后的团队交流。预留席位。

贡献与致谢

核心贡献者：Luke Merrick 和 Vidhi Jain
技术贡献者：Amro Abbas、Animesh Jha、Anshuman Suri、Gabor Csapo、Haakon Mongstad、Jack Urbanaek、Jasper Tan、Kaleigh Mentzer、Kalp Vyas、Matthew Leavitt、Parth Doshi、Parth Suresh、Sid Joshi、Troy Dutton、Vineeth Dorna
领导层：Ari Morcos、Bogdan Gaza、David Schwab、Paul Burstein
致谢：Anushka Nigam、Dan Darnell、Elise Clark、Liz Gatapia