Open Athena 认为不存在后训练数据公共池

我们在预训练数据上运气好得惊人。训练大型语言模型需要真正海量的文本语料，而它恰好就摆在那里。

这并非纯属偶然。过去大约50年里，人类一直在忙于创建并数字化一份庞大的公共知识记录。最显而易见的是，维基百科的编辑们汇编了人类有史以来最全面的百科全书。一场蓬勃的开源运动创造了几PB的软件源代码。Stack Exchange上的社区花了十多年时间提问、争论答案，并精心整理结果。科学家们把论文上传到ArXiv。古登堡计划——几乎和互联网本身一样古老——制作了已过版权期的书籍的数字版本。

当然，还有数十亿人建立网站、发表评论、进行或琐碎或深刻的争论、上传照片和画作、撰写小说，而且——信不信由你——有时还会跑到互联网上去说谎。

古登堡计划、互联网档案馆、维基百科、ArXiv和Stack Exchange等努力，都是有意识地打造数字知识公地的尝试。然后是Common Crawl。自2007年以来，Common Crawl一直在定期归档互联网相当大一部分子集的快照，然后免费提供给任何人访问和使用。如今，Common Crawl归档的数据大约有10 PB。

这座庞大的人类知识公地构成了LLM革命的基础。GPT-3的训练数据中约60%来自Common Crawl衍生的数据。最初的Llama数据混合几乎完全提取自互联网公地。¹

这并不是说，把网络上的原材料精炼成可供LLM使用的数据块很简单。网页是极其杂乱的东西，而且网络中有很大一部分是旨在欺骗谷歌爬虫的垃圾或无用内容。人们至今仍在发表论文，研究如何进行过滤、HTML转文本提取、旧文档OCR以及合成重写。

尽管现有的大型参与者似乎已经转向使用自己的定制网络爬虫（Cloudflare报告称，超过一半的爬虫流量用于AI），但像Nemotron和我们自己的模型这样的现代开放LLM，其预训练数据的绝大多数仍然依赖这座公地。如果没有对这座公地的持续访问，真正开放的LLM就无法存在。

如今，前沿AI研究的焦点已转向后训练，尤其是所谓的“智能体式”AI。和之前的预训练一样，后训练需要大量算力和大量数据。然而，后训练并没有同样现成的大量原始数据摆在那里。简而言之，不存在后训练数据公地。

根本区别很简单：预训练消耗文档，而后训练消耗任务。²但这里的“任务”已经是一种抽象。后训练中强化学习所使用的任务，与人类在世界上执行的任务并不相同。

人类的任务都置身于特定时刻。某人想要某样东西；他们在世界上采取行动去得到它；世界作出回应；随着他们学习，目标发生变化；最终，他们成功、失败，或者改变了目标。一旦尝试过，任务就消失了。同样的条件永远不会完全再次出现。

从这个意义上说，人类任务与口头文化相呼应：口头故事既是事件，也是对象。故事的讲述会随讲述者、听众和场合而变化。把故事写下来使其持久且可重复，但也冻结了某一次讲述。

将人类活动编码为强化学习任务也做了类似的事。强化学习任务是冻结的、图式化的、可读的，而人类世界的任务是适应性的、条件性的、短暂的。一次情境化行动被转化为一个可以反复执行的对象。

对于一个强化学习任务，我们至少需要保留三个组成部分：一个世界、一个意图，以及一组用于与世界交互的工具。对于强化学习，我们还需要一个评分器，它查看智能体行动的结果，并判定意图被满足的程度。

人类花了数千年时间围绕以文档形式存储的持久知识建立制度：书籍、图书馆、档案馆、互联网。我们用于使行动持久化的时间要少得多，发展出的基础设施也少得多。

除了一个非常重要的例外：软件。软件工程在很大程度上就是写下任务的实践。软件工程师花了数十年时间将工作转化为持久工件：保存工作发生的世界，记录其背后的意图，并留下所采取行动的痕迹。难怪智能体AI首先瞄准了软件。

计算机是围绕确定性构建的。重启计算机，其状态或多或少是一块干净的白板，除了你选择写下的任何信息——任何文档。（妈，这就是我一直让你重启电脑的原因。）这种确定性非常适合强化学习。当智能体可以尝试一项任务、丢弃更改并从完全相同的起点重试时，强化学习算法效果最好。

在过去的几十年里，软件经历了一系列变革，以加倍强化计算机的确定性。版本控制保存程序的历史。持续集成和形式化单元测试库记录执行程序的流程。虚拟机和容器封装程序运行所需世界的受控快照。这些都不完美。软件也在流动：系统时钟前进，版本变化，包消失。比特会腐烂。Debian自2013年以来一直在系统地研究可复现构建，十多年后仍没有将该发行版描述为完全可复现。

尽管有这些限制，开源软件已经创造了一个由保存的世界和记录的行动组成的共享资源。但将软件共享资源转化为可供机器学习消费的任务并不容易。而且这种困难在性质上不同于清理网络文本：缺失的信息可能从未被记录过。因此，将软件仓库转化为后训练数据看起来不太像策展，而更像制造。

要构建一个任务，我们需要世界、工具、意图和评分器。理论上，开源软件共享资源为我们提供了所有这些：

世界由某一时间点的软件仓库、其依赖项以及容器和构建机制组成。
工具就是软件工程和计算机使用的工具：shell、编译器、浏览器等。
我们可以从 GitHub issue 或 pull request 中恢复出的意图。
评分器就是测试是否通过。

事实证明，这基本上就是原始 SWE-bench 所采用的框架。而事实证明，它既出奇地困难，又过于简单。他们爬取了 12 个 Python 仓库的 GitHub issue 和 pull request，得到了略多于 90,000 个 PR。其中只有大约八分之一能够顺利映射到该框架：它们要么没有被合并，要么没有关联到 issue，要么没有改动测试。它们缺乏对意图或评分器的清晰映射。

在剩余的 11,407 个中，约 80% 无法转化为可执行任务。例如，包无法在该状态下重建，或者出现了奇怪的运行时错误。这些任务的世界无法重建，或者其评分器失败了。这留下了构成原始 SWE-bench 的 2,294 个任务。

一年后，OpenAI 着手创建 SWE-bench Verified。OpenAI 聘请了 93 名经验丰富的 Python 开发者，手动审查了 1,699 个随机选取的 SWE-bench 任务。其中，超过三分之二因提示描述不充分、测试不公平或其他重大问题而被标记为移除。经过筛选，他们产出了一个包含 500 个“Verified”任务的池子。随后，对其中有问题子集的一次后续审计发现，尽管此前经过了大量检查，整体 500 个任务中又有大约六分之一是坏的。

我并不是想挑 SWE-bench 的毛病。它是目前可用的构造较好的公开编码数据集之一。在检查 TaskTrove 中的任务汇编时，我们发现，在 5,000 个转换后的 Java 任务的一个子集中，超过 90% 在修复过程中不得不被丢弃：测试无法解析、没有检查任何内容，或者依赖缺失的项目上下文和外部服务。在另一个 Python 子集中，几乎 98% 被检查的验证器包甚至无法启动测试，因为依赖缺失。而可执行性只是起点。Vals 的一次审计发现，小米 MiMo v2.6 公开发布中的 2,698 个编码环境里，仍有三分之二包含可从 Git 中恢复的参考修复。在一个演示案例中，智能体复制了该修复，并通过了全部五个隐藏测试。制作好任务很难。

再说一遍，软件还是容易的情况！如果连软件都这么难以做对——我甚至还没谈到构建智能体无法逃逸的沙箱，以及没有预定义单元测试作为评分器的任务——那么经济中的其余部分该有多难？前沿 AI 公司如何能可靠地将其余所谓“有经济价值的人类活动”——律师、科学家、销售人员、医生等所做的工作——编码为 RL 所需的那种正式、可重复的任务？

对于经济的其余部分，甚至连公开“任务公地”的开端都还没有。那么，前沿实验室该怎么办？付钱给那些律师、科学家、销售人员和医生，让他们的工作适配 RL 任务框架，将他们人类世界中短暂易逝的任务铭刻为智能体所消费的任务。他们创建任务、环境、评分标准、验证器、模拟器等。所有这些工作本身都必须被协调和验证。因此，我们就有了快速扩张的后训练数据产业的存在理由。

那么，我们开放模型社区该做些什么呢？我们没有用于后训练的 Common Crawl，因为不存在可供抓取的公共资源。相反，后训练公共资源必须从大规模、系统性的铭刻开始，即寻找人类任务并将其转化为 RL 任务。（或者我们想出更好的范式。那样会更好。）

这并非易事。预训练公共资源中的很大一部分已经以大致正确的形式被生产出来了。人们发布网页、源代码、论文和书籍，其动机与训练语言模型毫无关系。但产生这些人工制品的人类活动——目标、决策、修订、协商和失败的尝试——大多已经消失了。

幸运的是，我们并非从零开始。开源公共资源是一座部分铭刻任务的宝库。经济的其他部分、其他形式的人类活动也留下了痕迹：带有修订记录的文档、日志、流程。而且，智能体越来越有能力帮助我们根据输出和痕迹重建任务，并将其铭刻为 RL 任务。

从一种解读来看，这一切都归结为尽快“我们只需要制造大量 RL 环境”。从表面上看，这是对的。但更深层的任务——人类的任务——是决定我们希望将人类活动的哪些部分铭刻为强化学习可读的持久形式，然后构建机制和制度来系统地做到这一点。GDPval 的构建方法指出了实现这一目标的一种途径。

在这一点上，经济中可读任务的自动化似乎不可避免，哪怕仅仅是因为投入的资本规模庞大。问题在于，由此产生的人类工作的铭刻是成为少数公司持有的私有资产，还是我们努力使其中有意义的一部分成为人人都能在此基础上构建的公共资源。

随着 AI 越来越有能力执行更多的人类工作，开发和引导这种能力的能力成为巨大的经济权力来源。如果只有少数几家公司能够积累训练前沿模型所需的任务和环境，那么这些公司将在 AI 能从事何种工作以及谁从中受益方面拥有过大的发言权。

后训练公共资源将使大学、非营利组织、独立研究人员和公司能够开发大型 AI 公司可能永远不会优先考虑的能力。公共资源将赋予我们所有人有意义地参与塑造 AI 开发和部署方式的能力，并在管理 AI 的政策和规范中拥有更强的发言权。否则，我们就有可能将几代人以来或许最具影响力的技术的巨大权力拱手让给少数极其富有的公司的商业利益。

我们在预训练方面很幸运。构建 Wikipedia 和 Stack Exchange 的人并不是在制作训练数据；他们是在创造他们希望存在的东西。但没有人会为了好玩而将税务律师的工作铭刻为可复现的环境。如果要有一个后训练公共资源，就必须有人有意识地构建它，知道它的目的，以及它可能付出的代价。

这更难。但这也意味着，这一次，公共资源是我们能够选择的。

除了 Books3，嗯，↩
最初的后训练数据主要消耗的是所谓的偏好数据，但其规模与现代智能体 RL 相比微不足道。↩

引用此帖

@misc{hall2026_there_is_no_posttraining_data_commons,
  author = {Hall, David},
  title = {There is no posttraining data commons},
  year = {2026},
  month = {oct},
  howpublished = {\url{https://www.openathena.ai/blog/there-is-no-posttraining-data-commons/}},
  note = {Open Athena Blog}
}