Dwarkesh Patel：数学领域的雪崩即将降临 AI 研发，自动化研究或 2028 年到来
Dwarkesh Patel 将 AI 达到最优秀人类 AI 研究员水平的中位预期更新为 2028 年，最早可能 2027 年，并有 25% 概率拖到 2032 年之后。
Dwarkesh Patel：播客与博客·2026-11-14 02:37· 1 小时前AI 评分63
冲击数学领域的雪崩即将降临 AI 开发
AI 导读
Dwarkesh Patel 撰文称，他已把 AI 达到最优秀人类 AI 研究员水平的中位预期更新为 2028 年，最早可能 2027 年，并有 25% 概率拖到 2032 年之后。
正文 · 原文
非常感谢 Max Farrens、Gabe Fried 和 Thomas Larsen 在本文写作与研究的诸多重要环节与我合作。
你可以在 YouTube、Spotify 和 Apple Podcasts 上观看或收听我朗读本文。
如果今年早些时候你问我，我们距离超级智能还有多远，我大概会说至少还要大半个十年。但在过去三个月里，我的看法发生了巨大变化。我一直在播客内外与人辩论这个问题。我也一直在观察 AI 在可验证领域取得的进展，并思考这对 AI 研究本身意味着什么。
我现在认为，距离 AI 在 AI 研究上达到最优秀人类的水平，我们只剩几年，甚至可能只剩几个月。我还相信，自动化 AI 研究将把如此多的进展压缩进一年之内，以至于此后不久（也就是到 2030 年，但最早可能就在明年），我们就会拥有在每个领域都至少与最优秀人类专家相当的 AI。我知道这是一个惊人的论断，就连几个月前的我自己也不会相信。让我带你梳理一下我的想法是如何改变的。
在进入更具推测性的论证之前，我想指出，我们有大量证据表明，AI 已经在显著加速前沿 AI 的进一步进展。
例如，独立评估机构 METR 在 Anthropic 内部驻留三个月后得出结论：Anthropic 在界定明确的任务上的整体进展速度是一年前的两倍，而且“如今这种加速的大部分很可能归因于 Anthropic 广泛使用 AI 来做研发”。
OpenAI 在 9 月就此发布了一篇博客文章，其中显示，OpenAI 研究人员中 AI 使用量最高的 10% 人群，从夏初每天使用约 1,000 美元的内部编码智能体，到 8 月底已增至每天超过 7,000 美元。
9 月，Anthropic 也就自身的 AI 提效发布了类似的文章。他们报告称，截至 8 月，Claude“主导”了 Anthropic 超过 26% 的 AI 研发工作——而就在 2 月，这一比例还不到 1%。1
数学是 AI 研究未来走向的预演
当我思考如果 AI 实现 AI 研究的自动化，这件事会有多重大，以及它可能多快发生，对我来说一个非常重要的更新就是，亲眼看到 AI 在数学领域的能力爆发得有多快。当前的 AI 正在数学中切穿那些界定清晰的问题，就像热刀切黄油一样。仅仅两年前，我还问过 Dario，为什么 LLM 无法利用它们在如此多不同领域的广博知识来连接不同的想法并做出新发现。结果你瞧，我们走到了这里：在一个完全可验证的领域如数学中，AI 正在如此大规模地进行这种搜索与匹配式的发现，以至于数百项重要成果（世界上顶尖数学家和计算机科学家花了几十年试图解决）正作为支线任务被批量产出，用来为未来模型发布造势。
疯狂的是我们进步得有多快：2023 年还是“这个模型不能可靠地做四位数加法”，2024 年变成“这个模型几乎解不出高中数学竞赛里的任何题”，2025 年变成“哦，它能在国际数学奥林匹克拿金牌”，到今年早些时候变成“哇，它在解未解决的 Erdős 问题，但也许只是因为没人尝试过这些特定问题，而且文献里已有类似解法”，再到大约一个月前变成“好吧，它他妈在 88 小时内解决了一个千禧年大奖难题。”
小说《伊甸之东》里有一句话：“关于神的陨落，有一件事是确定的：他们不会只跌落一点；他们会轰然坠毁、粉身碎骨。”
确实，进展不成比例地偏向数学中那些充满验证的环节，比如寻找反例（而不是提出新理论）。Toby Ord 最近发了一篇很好的文章谈这一点。他写道：“虽然当前的 AI 系统开始自动化数学证明，但目前几乎没有证据表明它们能提出有力的问题，或找到深刻的新数学探究领域。”
但换一种方式说同一个观点就是：当前的 AI 系统已经解决了一个千禧年大奖难题，而这一切都是在没有能力提出有力问题或找到深刻的新数学探究领域的情况下完成的。
而这种解决界定清晰问题的能力，对机器学习研究来说将比数学（广义上）更重要。这是因为数学研究的目标不只是证明或证伪一长串猜想，而是扩展人类对数学概念的理解。提出拓扑学、群论或笛卡尔网格的想法，远比确切知道从 n 个点中能组成多少对相距一个单位的点对更重要。我们主要关心这类深奥问题，只是因为它们可能催生新的数学理论。
但在 AI 研究中，优先级恰好相反。AI 实验室主要关心任何新算法配方在经验上如何让训练更高效，或激发出更聪明的模型。他们不关心理论本身，而过去十五年我们在深度学习上取得的所有进展本来也不需要多少新理论。在机器学习中，相当于硬啃随机猜想的做法会极其有价值，而在数学中则并非如此。
AI 研究实际上与当前 AI 格外擅长的那类数学进展惊人地相似：通过结合惊人的坚持和超人的能力来连接来自许多相邻领域的想法，从而解锁大量唾手可得的成果。
例如，让我们谈谈 transformer 架构。我的朋友 Sholto Douglas 是一位 AI 研究员，他有一篇永远半途而废的博客文章，其中解释了如何能比人们实际做到的时间早两年发明 transformer。也许这篇文章会让他停止拖延并完成它，但与此同时，我将简要总结一下我与他关于那篇文章内容的讨论。
在 2017 年 transformer 论文发表之前，许多研究人员已经将注意力确定为一种更好地并行化训练并在更长序列中传递信息的方法。当时活跃的研究员 Chris Olah 表示：“当时，我的感觉是 transformer 架构是许多独立有效的想法（注意力、残差网络）的自然组合，并被推向了相当激进的程度。”换句话说，对于该领域的研究人员来说，核心部分没有一个是令人惊讶的。
那么，为什么人们没有更早地发明 transformer 呢？一个原因是，只有当你连接了半打额外的调整和创新之后，这种新架构才明显优于当时的最先进技术。尽管所有这些在文献中已经存在多年，2 但没有人知道如何将这些拼图碎片组合起来。这样做当然需要研究品味，但也需要大量的小实验。
但我上面刚刚描述的——坚持不懈且聪明地匹配数十种不同的想法组合——正是 AI 在数学贡献中展现出格外擅长的那种能力。
这就是说，即使是 transformer——可以说是自 2012 年 AlexNet 开启深度学习革命以来机器学习领域最大的突破——也是 Claude 7 在 Chris Olah 要求它努力让注意力机制更好地工作时能够发明出来的东西。
我想澄清的是，AI 研究的某些部分实际上比数学更难验证。这就是为什么 OpenAI 没有解雇所有研究人员，尽管它拥有一个能够自主解决千禧年大奖难题的模型。但我认为 AI 研究足够可验证，AI 很快就能在这方面和最优秀的人类一样出色。解释原因需要深入探讨 AI 研究实际运作的细节，因为这些细节有趣但技术性强，我把它们留在了附录中——如果你好奇，就在结论之后继续阅读。但与此同时，我会给出我对我们何时能达到那一步的估计。
如果我必须选择自动化研究员能与最优秀的人类 AI 研究员一样出色的中位年份（并假设实验室不会故意放慢速度），我猜是 2028 年。
为什么我认为 AI 能在两年内达到这种水平？在每一个我们可以检查答案并给 AI 数千轮练习的领域——例如，竞争性编程竞赛，或范围明确的开放数学问题——它们都在几年内从比大多数人类差变成比最优秀的人类更好。正如我在附录中详细说明的那样，AI 研究也具有同样的可验证特性。
当然，像 Ilya Sutskever 这样顶尖的 AI 研究者之所以如此出色，很大程度上无法直接验证——例如，他提前数年押注正确研究方向的能力。但正如我们在数学中看到的那样，模型的泛化能力远远超出它们直接训练的范围。OpenAI 的模型显然不是通过解决其他千禧年大奖难题来训练的。它是在大量不那么宏大、更易处理的数学问题上训练的，并由此泛化到解决一个人类从未攻克的问题。我预计 AI 研究也会如此：在可验证的研究任务上进行数千轮练习，再加上每一代新模型都比上一代更聪明，这将使模型即使在我们无法直接检查的 AI 研究部分也表现出色。
我想明确一点：这个里程碑有相当大的概率会推迟，因为 AI 研究的某些重要部分仍然难以自动化。我猜有 25% 的概率它要到 2032 年之后才会发生。3 但我也认为事情可能进展得快得多，我们可能在 2027 年就达到这个里程碑。我认识的一些最见多识广的研究者——他们在过去几年有着非常好的预测记录——预计 AI 最早明年就能在 AI 研究上击败最优秀的人类。而 2027 年也正是把 METR 的发现——Anthropic 的 AI 进展速度在一年内翻了一番——代入起飞模型后得出的直接推论。
正如前嘉宾 Ajeya Cotra 在一篇关于这份报告的博客文章中所说：
如果我们按字面理解，AI 现在几乎使 AI 能力进展速度翻倍，并假设 AI 带来的加速是平滑的，这朴素地意味着我们将在一年内达到极端的超级智能。
我的中位数之所以没那么早，是因为我不确定这种直接建模有多准确。但如果明年我们就达到这个里程碑，我们不应感到惊讶，并且我们应该为这样的世界做好准备。
自动化最优秀的研究者将大大加速 AI 进展
一旦 AI 在 AI 研究上达到最优秀人类的水平，算法进展将急剧加快。有三个重要原因：自动化研究者会快得多，每一个都会非常聪明，而且数量会多得多。
更快
如今的 AI 已经以大约人类 10 倍的速度工作。4 而自动化研究者还会全天候工作，包括夜晚和周末。因此，每个自动化研究者每个日历周塞进的工作量大约是人类研究者的 50 倍。
当然，这并不意味着 AI 进展会立即加速 50 倍。这些自动化研究者仍会受限于用于实验的算力，而算力并不会跑得更快。所以会出现收益递减。但即使收益递减极其陡峭，仅此一点就会使算法进展比目前快许多倍。5
更聪明
而这还没有考虑到这样一个事实：在这种情景下，每个自动化研究者在 AI 研发上至少和最优秀的人类一样出色。
我的感觉是，在某个前沿实验室中，大约80%的算法进展是由其排名前50的研究人员推动的。扎克伯格愿意花费数亿美元来招揽业内最优秀的人才，这并非没有道理。因此，由于这家自动化公司中的每一位工程师和研究人员都将达到当今前沿AI实验室中最顶尖人类的水平，算法进展将再次大幅加速。
更多
把更多人力投入一个问题并不总是有帮助。例如，一群智能体可能无法比单个智能体更快地写出一部伟大的小说。但其他任务则适合并行化：例如，看下面的动画，展示了一群不同的Claude协同形式化费马大定理。这一壮举包含数千个模块化的子任务，每个子任务都可以独立完成，并且每个智能体都能在本地检查自己的工作是否成功。
AI研究更接近于形式化一个定理，而不是写一部小说，因为存在大量独立的模块化工作要做，并且有可验证的进展代理指标。这意味着，一群智能体可以尝试一千种不同的方法，看看哪种表现最好，而且它们可以针对流水线的每个不同部分独立进行。AI公司已经由数十个团队组成，各自独立致力于模型开发的不同部分：一个团队改进预训练数据的过滤方式，另一个团队帮助设计某种特定的合成RL环境，还有一个团队编写更好的注意力内核，等等。在这样的领域中，不同的工作流可以独立完成和检查，投入大量持续爬坡的智能体往往会大大加速进展。
同样，仅仅增加更多并行研究人员，回报也会急剧递减。任何曾在团队中工作过的人都知道，拥有10万名合作者并不意味着你能快10万倍——甚至可能连100倍都达不到。但如果说拥有数量级更多的自动化劳动力，你连至少快几倍都做不到，那是不合情理的。
我们可能会迎来奇点，或者火花
因此，更快、更聪明、数量更多的自动化研究人员的结合将大大加速AI进展。但这种速度会持续下去吗？会变得更快吗？还是会放缓？这个问题甚至比初始速度实际是多少更为重要。
这里有两个相互竞争的趋势。而后续的进展速度将取决于哪一个最终更强大。一方面，由于RSI，自动化研究人员将继续变得更快、更聪明、更充足。另一方面，AI研究将变得越来越困难，因为所有容易的想法都会被智能体群消耗殆尽。
顺便说一句，“想法越来越难找”是已经发生的事情。AI公司必须每年将研发算力翻两番、劳动力翻一番，仅仅为了维持相同的进展速度。
如果 AI 变聪明的速度比想法变得更难发现的速度更快，那么我们就会得到一种叫做“纯软件奇点”的东西。在这种情景下，即使不增加算力，AI 集群也会迅速制造出越来越聪明的自身版本，直到在几个月内，我们最终得到一个超级智能，它逼近我们当前芯片的物理极限。
但如果想法变得更难发现的速度快于 RSI 让 AI 更擅长研究的速度，我们最终会得到我称之为“火花”的东西。我们会在一年内获得大约三到六年的 AI 进展。6 然后事情会平息下来，直到我们构建更多算力，因为即使是超级天才的自动化研究人员，也需要运行更大的实验才能取得进一步突破。
如果非要我选，我会给“火花”情景 50% 的概率，给“纯软件奇点”50% 的概率。
不过要明确的是，即使是“火花”情景——即在自动化 AI 研究后的第一年取得约四年的进展——也会让人觉得疯狂。那相当于在短短 12 个月内从 GPT-3.5 跳到 GPT-6 Astra 那么大的跨度。提醒你一下这个飞跃所压缩的进展规模：GPT-3.5 能写一首过得去的打油诗，能自动补全一个简单的 Python 函数，但基本上是个没用的玩具，而 Astra 能从零开始构建完整的视频游戏，并产出足以获得菲尔兹奖的数学贡献，程度之深以至于我们已经麻木了。
在过去四年里，我们从学龄前儿童变成了神童实习生。如果你再做出同样大的飞跃，但从 2027 或 2028 年开始，你可能会得到一个在哪怕稍微可验证的领域都远超人类的头脑。例如，它在提出下一代 AI 加速器方面会比 Nvidia 更出色。它会比当前人类版本的 Citadel 和 Jane Street 赚更多钱（如果它有平等的市场准入）。如果你给它远程访问材料科学实验实验室的权限，它在寻找室温超导体方面会比全人类都更厉害。
超级智能将是一个极其出色的元学习者
现在，你可能会问：即使是在数据中心内训练的超级智能，又如何能在那些人类专业知识的基础是多年现实世界经验的领域击败人类专家呢？
我们目前让 AI 变聪明的方式，是通过对可以在数据中心内自动评分的任务进行 RL：AI 写的一百万行新代码能通过单元测试吗？AI 解决了更多开放数学问题吗？但当然，世界的大部分并非如此。我在最近的一篇文章中提出了这一点：
我们如何训练 AI 来建立企业？你如何让 AI 真正擅长赢得官司？或者在市场上进行有利可图的日内交易？或者帮助候选人赢得选举？这种展开需要与世界互动，无法简单地在数据中心内重现。
那么超级智能将如何擅长这类事情？让我明确一点：我不认为我们可以把每个现实世界问题的答案直接烘焙到权重中。相反，我的主张是，扩大 RL 训练将赋予 AI 在新情境中快速提升的能力，即使在上述难以验证的领域也是如此。
要想真正擅长任何复杂任务，都需要两样东西。一是特定领域的知识。二是更通用的一套技能——那种有能力的人所具备的技能——比如能够寻找相关信息、制定计划、在错误和障碍中推进计划、记录所学到的内容，以及与他人协作。
在 RSI 期间，自动化工程师将构建出比我们目前拥有的多出数万倍的 RL 训练环境。这些环境将比今天的环境运行时间长得多、质量高得多、开放程度高得多，覆盖范围也广得多。
这些 AI 将学会在数量多到难以想象的虚拟世界中闯荡，而每一个这样的世界之于今天的电子游戏，就如同布加迪之于马车。这些游戏将比任何为人类娱乐而制作的东西都更困难、更混乱、更庞杂、更真实。它们将要求 AI 在长时间内与其他 AI 团队合作或竞争。例如，一个 AI 将被投放到一个繁荣的模拟数字经济中，那里有数百万其他 AI，并被要求共同创办一家成功的公司。而且这个 AI 不会只是停留在思考理想的公司结构……它将经历一个进化过程，其中涉及数百年的公司竞争，以找出最优的组织技术。
这些 AI 还将通过对科学、技术、政治和文化史上一切事物的无尽回测来训练自己——它们必须预测曾经发生过的每一项发现、发明、战争、选举和季度财报。这里有一个预测训练任务：如果训练语料库中不包含 1700 年之后的任何信息——这远远早于任何人类有望发现广义相对论的进度——AI 能否推导出广义相对论？另一个例子：给定直到 1962 年的每一篇报纸文章，AI 能否预测古巴导弹危机将如何展开？7
而且，这些自动化研究者将要改进的不仅仅是训练数据。他们还将通过在线学习和样本效率方面的突破，从根本上改进基础学习算法本身（这两者都有可验证的代理指标，正如我在附录中所讨论的）。正如人类从数据中学习的效率和效果远高于当前 LLM，未来的 AI 在学习效率上可能远超人类。
为什么我认为我们会看到大量从可验证任务到这些更通用技能的迁移？一个原因是，即使在智能爆炸期间将发生的 RL 训练规模的万分之一，我们已经看到了大量泛化。如果你把 Claude Code 或 Codex 指向一个它从未见过的项目，它知道如何定位自己、弄清楚各部分如何组合在一起，然后着手完成一项雄心勃勃的任务。
当然，很难衡量模型在不易验证的任务上进步了多少，因为如果我们能衡量……那些任务就会是可验证的。但你可以去和一个新模型聊聊，把它和一个旧模型比较一下。根据我的经验，AI 在与代码或数学几乎无关的事情上已经变得好多了——例如，帮助我研究撰写这篇文章所需回答的抽象问题。8
支持迁移的另一个重要证据是人类进化。我们通用的大脑架构是由进化塑造的，而进化是一个优化过程，其验证器非常粗糙：你的基因有没有传下去？在祖先环境中，影响这一结果的任务包括狩猎、抵御捕食者、维持你在部落中的地位。
这些只是人类今天能够处理的任务类型中极小的一部分。进化并没有专门把我们优化成能写出获得普利策奖的传记、制造先进半导体、领导数百万人的国家，或开创数学新分支。但是，在为了在稀树草原上生存而优化我们的过程中，进化造出了一个通用学习器。
在训练这些 AI 时，我们运行着一个类似的过程，只不过我们是有意为之，而且任务与当今世界取得成功所需的任务更密切相关。与进化不同的是，AI 公司正在尝试在训练过程中提升迁移能力（例如，确保在被排除于训练之外的困难任务上表现有所提升）。如果连愚钝、盲目的进化都能通过构建一个能在稀树草原上有效自我繁殖的心智，获得如此多的迁移能力，那么 AI 公司为构建一个灵活、通用、能在任何新情境中快速提升的智能而付出的刻意努力，应该能走得更远。
现在，即便是超级智能学习器也无法仅凭数据中心内部弄清一切。所以即便是这些 AI，也需要一些现实世界的经验。但我认为，它们获得这些经验的速度会远超人们预期，而且它们在被部署后的几个月内就会超越顶尖人类专家。
说实话，在这一切上引导我直觉的一点是，我有很多二十多岁的朋友，我看着他们在毫无先前经验的领域里取得了不可思议的成就，建立了世界领先的公司和事业。
历史上充满了能力超群的年轻人，他们把自己被投入的世界玩得团团转。到 27 岁时，拿破仑已经对欧洲其他列强规模大得多的军队取得了一场又一场胜利。到 25 岁时，洛克菲勒进入石油行业仅两年，就已经在经营世界上最大的炼油厂之一。
洛克菲勒和拿破仑确实需要经验，但只需要几年，而不是几十年。无论这些人脑子里发生了什么，AI 都应该能够复制（甚至超越：没有理由认为人类是从经验中快速学习的天花板）。
此外，与拿破仑或洛克菲勒不同，AI 可以在短短几周的日历时间内积累数年的部署上下文。例如，想象一下，你希望这些未来 AI 中的一个能比现任 CEO 更好地经营一家财富 500 强公司。它能多快上手？好吧，如果你让它跟随那位 CEO，在第一个上午，它就能阅读公司有史以来产生的每一封电子邮件、Slack 消息和文档。到第一天结束时，它的并行副本可以已经采访了每一位员工和主要客户，并累计完成了单个人类需要数月才能完成的工作量，然后再合并回一起。显然，有些反馈——比如你的行为如何影响了季度收益——需要数月的串行时间。但即便如此，我们也应该预期这些未来 AI 能够在部署后的几个月内，在几乎所有领域达到人类顶尖水平。在中位情景下，那仍然是 2028 或 2029 年。
并且记住，即使在火花情景中，这一切都只发生在 AI 研究完全自动化后的头一两年内。事情不会就此停止。因为即使软件进展逐渐停滞，AI 也会通过帮助增加更多算力来继续添柴。即使没有 AI 的帮助，全球 AI 算力也一直以每年约 3 倍的速度增长。而从火花中诞生的 AI 将在帮助我们继续扩大算力规模方面表现出参差不齐的超人能力。它们将极其擅长设计 AI 芯片、规划新晶圆厂的设计，甚至远程操作机器人来帮助建造部分晶圆厂和数据中心。
因此，在火花情景中，AI 能力继续提升，但由于其进步是由建造更多芯片、数据中心和机器人驱动的，要达到纯软件奇点本可在几个月内实现的同一终点——一个对我们而言如同我们之于黑猩猩的超级智能——需要数年时间。
在下一篇文章中，我将阐述我预期这些心智会是什么样子，以及我预期它们将如何改变世界。
附录
早些时候，我承诺要解释为什么我认为 AI 研究在很大程度上是可验证的——所以我就从这里开始。之后，我将逐一讨论我认为对关于递归自我改进（RSI）的论点最强烈的反对意见。
AI 研发在很大程度上是可验证的
样本效率与在线学习
我首先想指出的一点是，由于预训练和后训练是可验证的（如下文所讨论），AI 相对于人类最令人恼火且最重要的缺陷——即缺乏样本效率——的进展也是可验证的。如果你想让神经网络获得某种能力，你必须喂给它比人类学习同样内容所需多得多的数据。
但每一种样本效率都是可测量的。你可以测量达到给定预训练损失需要多少数据，在强化学习环境中达到给定分数需要多少任务，甚至仅通过上下文学习在单次会话中达到期望性能水平需要多少反馈和时间。
样本效率和在线学习实际上是同一个问题的两面：如何快速高效地从真实世界数据中学习。几十年来，人们一直将其视为机器学习中最深刻的开放问题——相当于AI领域的千禧年大奖难题。而数学已经向我们展示了这类问题的结局：只要它们可验证，即使非常困难，也终将被解决。
AI研发拥有大量可验证的代理指标
好，为什么我认为样本效率、在线学习以及机器学习中其他问题的进展是可验证的呢？大致来说，AI研发可以分为三大类：预训练、后训练和推理效率。正如我将在下文解释的，每一类都有强大的可验证代理指标，易于针对其进行训练。而由于这三者共同构成了算法进步的全部，这意味着AI的整体进展很容易通过训练来推进——从某种意义上说，这并不令人意外。我们可以让模型在数据中心内可测试的事情上变得好得多。而AI训练恰恰就发生在数据中心里。
请记住，这种可验证性之所以有价值，有两个原因。第一，它允许AI公司通过数千轮练习对模型进行强化学习，使其在AI研究的特定环节上变得更强。第二，这些代理指标让智能体更容易并行工作，因为它们可以在合并贡献之前，先在本地检查自己是否击败了某个特定的排行榜。
预训练
在构建GPT-7时，你可以对它进行强化学习，让它更擅长寻找预训练的计算量倍增器。例如，你可以设定一个强化学习目标：GPT-7必须最小化将GPT-2规模的模型训练到固定预训练损失所需的计算量。9
而一旦GPT-7建成，你可以部署一群智能体，让它们想办法以尽可能低的困惑度训练一个GPT-3规模的模型。留出测试集上的损失——预训练进展的基础——极其容易验证。10
当然，在小规模上有效的方法未必在大规模上同样有效。而且，要预判哪些有前景的小规模改进在组合进更大的模型后真正能开花结果，需要品味。但这种直觉也是可以训练的——例如，你可以构建一个强化学习环境，让GPT-7预测在1亿参数规模上做出的算法改进是否能在100亿参数规模上依然成立。虽然这个“品味基准”环境比nanoGPT速通的强化学习成本更高，但如果你拥有前沿实验室级别的算力，训练它仍然不算太难。所以，即便是研究品味的重要部分也是可验证的。
仅凭自动化预训练，你就能大幅加速AI进展。这有三个重要原因：
第一，预训练会带来模型智能和能力上非常通用的提升。这背后有一个深刻的解释，与压缩和智能之间的联系有关，如果你想了解更多，可以看看3Blue1Brown的这个精彩视频。
其次，随着你在预训练上取得改进，你可以训练出越来越小的模型，其性能与先前更大的模型相当，但训练速度更快、成本更低。这不仅加速了预训练，还使你在该基础模型之上进行的实验和 RL rollout 更加高效。11 而且，由于你的自动化研究者也是这个如今更小的模型的实例，你现在还能支撑更大的研究者群体。
第三，由于更小的模型训练更快，这本身就收紧了 RSI 循环。在 RSI 期间，实验室大概不会进行横跨多个数据中心园区、为期三个月的预训练运行。自动化研究者大军会如此迅速地找到算法创新，以至于当一次巨型训练完成时，它早已被一个一周前才开始训练的、小得多的模型所淘汰。这类似于：如果你用当今的技术向半人马座阿尔法星发射一艘飞船，它很可能会在途中被一百年后发射的另一艘飞船超越。此外，由于你训练更小的模型更快，在每天可以运行数千次实验的规模上，你就不必赌小规模结果在更大模型上依然成立。你已经在训练所用的规模上进行了测试。
即便在当今的参数规模下，基础模型还能提升多少？我认为还有巨大的潜力。我们远未达到预训练的极限。AI 实验室 Magic 最近宣布，他们预训练了一个模型，其性能与当今领先的开源基础模型（如 DeepSeek V4 Pro）相当，而所用算力仅为训练原始 GPT-3 所用算力的一半（如今约 50 万美元）。数量级的进一步提升似乎完全可能。
后训练
以下是后训练的三个不同的可验证代理指标：
第一，你的自动化研究者可以尝试改进你的后训练算法，使得当你想在一组新环境上进行 RL 时，所需的算力、数据或时间更少（这些都很容易测量）。
第二，你的自动化研究者可以致力于让模型更擅长即时学习。而且你可以轻松衡量这方面的进展。例如，如果你把模型放入一个它从未训练过的环境，它能多快地学会发生了什么并弄清楚如何获得好分数？它在一个从未玩过的电子游戏中能多快地变得更好？你也可以用更多真实世界的任务来衡量这种元学习。看看字节跳动的 EdgeBench 了解此类任务的示例。12
第三，你也可以直接衡量 AI 研发能力。Anthropic 有一个名为 CoBench 的内部基准，其中包含约 500 个其研究人员和工程师今年解决的真实问题。每个基准也是一个 RL 环境，而像这样的 RL 环境将允许 Anthropic 让其模型练习重做人类前沿在过去三到六个月的进展。
推理效率
AI 研发的另一个重要部分是设计模型及周边软件，以便从你的算力中榨取更多效能。这尤其可验证。你可以轻松测量 GPU 利用率、每 token 的 KV 缓存大小、前向传播的总 FLOPs、延迟等。
对 RSI 的反对意见
现在我想处理针对我关于 RSI 的论点最强烈的反对意见。
我想明确一点：这些瓶颈是严重的，它们确实压低了最激进起飞的可能性。这就是为什么我认为我们会在2028年实现从GPT-3.5到GPT-6规模的跃升（而不是明天就开始的某种疯狂的一夜奇点）。
但我认为这些瓶颈并不会完全消解这个未来的疯狂程度（而且瓶颈口实际上相当宽）。让我解释一下原因。
受限于持续学习？
过去一年半里，我一直在论证，当今AI缺失的主要能力是从在职经验中改进的能力。每个新会话都是它们上班的第一天。而在每个会话中，它们只能保留几个小时的信息量，因此无法积累数周或数月内出现的反馈或专长。去年12月，这是我怀疑我们短期内能否实现AI研究自动化的主要原因。正如我当时所写：
这个自动化研究者不知怎么地要找出AGI的算法——一个人类已经撞了将近一个世纪南墙的问题——却连儿童具备的基本学习能力都没有？我觉得这超级难以置信。
以下是我认为当前缺乏持续学习并不会阻止到2028年实现最优秀AI研究者的完全自动化的原因。
第一，AI公司到那时可能就用与现有架构非常相似的架构解决了持续学习。此前，我认为我们受限于某种疯狂的突破，让模型能在每个会话结束时更新自己的权重。但现在我认为，扩大上下文学习规模，使会话实际上长达数月，可能就足以让单个实例有效地在职学习。而且有许多、许多有前景的想法可能让实验室实现大幅延长的有效上下文窗口。13
第二，你可能不需要一个持续学习者来解决持续学习。正如我上面解释的，在线学习是一个ML研究问题，有干净的可验证代理指标。如果你两年前问我，纳维-斯托克斯方程和持续学习哪个更难解决，我不会明显地认为答案是纳维-斯托克斯方程。事实证明持续学习更难，因为实验室至今尚未攻克它。但你是否如此确信它那么难得多，以至于比当前正在解决千禧年大奖难题的模型聪明一两年的非在线学习模型无法攻克它，即使它们像当前模型一样失忆？
这些模型在解决千禧年大奖难题的同时，仍然是些没有长期记忆的笨拙天才实习生。这就像看着某人侧手翻着沿跑道前进，却仍能跟上尤塞恩·博尔特。如果允许他们真正奔跑，我确信他们会跑得更快。但谁又能说他们不能在仍然侧手翻的情况下赢得这场比赛呢？
话虽如此，我认为存在一种严重可能性：我们在未来几年内无法解决持续学习，而模型也无法通过其他优势弥补这一缺失的能力。这就是为什么我给出25%的概率，认为我们要到2032年之后才能自动化Ilya级别的研究者。
受限于找到正确的可验证代理指标？
有人可能会说，我上面列出的所有可验证代理指标都基于当前范式。但首先弄清楚要验证什么目标——选择让 GPT-7 去攀登哪座山——这本身就是 AI 研究的重要组成部分。这或许可以称为“研究品味”。在 2018 年之前，几乎没有人认为最小化下一 token 预测的损失是通往 AI 进步最可行的路径。所以没有人会费心去构建 nanoGPT 速通环境，让智能体集群在其中练习减少达到某个预训练损失所需的算力。
难道我们不需要跨越多个新范式才能从这里走到 ASI 吗？而每个新范式难道不都会带来一些我们事先不知道的新关联代理指标吗？自动化研究人员在 RSI 过程中将如何找到这些指标？
我有两点回应：
Transformer 在现有的翻译基准上是可见的（事实上它就是为了击败该基准而发明的）——推理模型与已有的编程和数学基准也有类似的故事。在“范式跃迁”之前制定的代理指标似乎完全有能力捕捉到性能的大幅阶跃变化。这是因为 AI 学习算法相当通用。
想出与范式无关的外循环代理指标并不那么困难：你的模型能解决多少个千禧年大奖难题；如果你用 1905 年之前的数据训练模型，它需要多长时间发现广义相对论；它多快能掌握完全没见过的电子游戏；等等。
总而言之，我认为对 RSI 影响的其他反对意见要强得多——如果这个是 RSI 最终无关紧要的原因，我会非常惊讶。
受限于数据？
数据难道不是 AI 进步的主要输入之一吗？如果没有数据以同样的速度扩展，RSI 将如何发生？
我的回答是，数据在 RSI 期间会继续增长，但编译数据的将是 AI 自己。为预训练和后训练生产更好的训练数据本身就是一个 ML 研究问题，而 AI 在这方面正变得越来越擅长。14
诚然，数据是 AI 研发中极其重要的输入。Jerry Han 和我实际上对此做过一些研究——我们发现，在预训练方面，过去六年中来自数据改进的算法进步是来自模型改进的三倍以上。
然而，我认为人们没有意识到，预训练中的这些“数据”改进与正常的 AI 研究工作非常一致——基本上就是通过实证找出哪些技术（过滤现有数据或生成新的合成数据）能在留出语料上带来更低的损失。15
类似的情况在 RL 中似乎也越来越明显。DeepSeek 刚刚发表了一篇论文，其中谈到了他们如何对新模型进行后训练。他们表示，对基础 RL 算法的改动远没有那么重要，而“合成数据和环境的规模、多样性及可验证性的系统性改进，几乎解释了所有观察到的收益。”
而这些环境的构建方式正变得越来越自动化：“我们投入大规模、自动化的流水线来进行数据合成和环境构建……以难度和正确性作为奖励信号，我们迭代地训练模型来构建更好的任务。”
受限于实验？
此前，我曾就当前数学领域的加速发展与我们应当预期AI研究中会发生的情况做过一个延伸类比。但AI研究与数学之间有一个重大区别。在数学中，你只需用纸笔推理就能得出新发现。而在AI研究中，你需要运行实验来验证你的想法，这需要算力和时间。而且随着自动化研究者数量的增长，每个研究者能分到的实验算力总蛋糕份额越来越小。
我对这一反对意见的回答是，每个智能体仍然能获得大量算力。前沿实验室每年的算力增长都超过四倍。如果这一趋势持续下去，那么到2027年底，OpenAI就可能为数千个智能体各自提供足够的算力，使其每天都能运行一次GPT-3规模的训练。16
请记住，2017年原始transformer论文中训练的最终模型在8块P100上耗时3.5天——如今租用这些算力大约只需50美元（约为GPT-3训练算力的万分之一）。
如果顶尖的人类AI研究者，比如Noam Shazeer和Ilya Sutskever，拥有足够的实验算力每天训练一个GPT-3规模的模型，他们的进展可能比现在更慢。但如果他们完全无法取得有意义的进展，只是坐下来开始抱怨自己的集群太小，那对我来说会极其令人惊讶。那么，你认为一个AI实验室如果拥有数千名优秀研究者，每人都有这么多算力，且每人的思考速度都快10倍，它的生产力会有多高？你不想给这个新实验室开张支票吗？
如今实验室中研究与实验的性质反映了这样一个事实：相对于算力，研究者时间极其稀缺——顶尖AI研究者个人的年薪高达数亿美元。因此，实验室今天使用算力的方式，几乎无法告诉我们：如果算力而非研究者时间成为关键瓶颈，他们本可以多么高效地使用算力。
RSI智能体集群将以两种主要方式比今天的研究者更有效地利用实验算力：
首先，它们可以立即用劳动力换取算力。为了节省宝贵的研究者时间，今天的实验在算力上非常浪费，而且理应如此。
如今的人类研究者可能不会费心设置并仔细监控大量小规模预训练实验，而是直接并行启动几个大型多智能体RL运行。但如果你受限于实验算力，你完全可以多做前者。这些自动化研究者还可能开创一门更出色的、从大规模小实验中学习的科学。缩放定律本身就是个很好的例子——GPT-4 论文称，他们能够用计算量少 10000 倍的模型来预测该模型的最终损失。更聪明、更快速的自动化公司会做的事情之一，就是尝试发现更多类似 muP 的缩放现象（muP 让研究者能够从规模小 100 倍的模型预判更大规模运行的最优超参数）。还有多少类似的发现等待被发掘？
我记得曾与一位 AI 研究者聊天，他认为从极小的神经网络中学习可能极具启发性。他是这样说的：“天上的神必定遵循与地上的蚂蚁相同的原理。”
总之，感谢你坚持读完了附录。我很快会分享下一篇关于超级智能的文章。
他们将“主导”定义为“根据高层级提示端到端完成大部分任务”，同时由人类进行监督。完全自主的工作占比——Anthropic 将其定义为“AI 完全自主运行，无需人类介入”——目前仍为 0%。但请记住，今年 2 月时 Claude 主导的工作占比也基本为 0%。而如今，不到 10% 的工作低于 Anthropic 所称的“协作”水平，即 Claude 在“人类的密切指导下完成大量工作”。
正如 Sholto 将在他的博客文章中展示的那样，基于注意力的架构并不比 LSTM 表现更好，除非你同时具备残差连接（2015）、层归一化（2016）、Adam 优化器（2014）、交错 MLP 层、位置编码和学习率预热。
即便在那个世界里，AI 的进展也会在 2032 年之前大幅加速，因为 AI 不需要自动化研究者的全部工作就能让他们快得多。假设 AI 在它们能做的每项任务上都比人类快 50 倍，而其余工作仍以人类的速度进行。如果 AI 能完成研究者一半的工作，研究者只快了约 2 倍，因为人类负责的那一半仍要花同样长的时间。达到 90% 时，研究者快约 8.5 倍；达到 99% 时，快 30 倍以上。这就是阿姆达尔定律：你无法加速的工作决定了整体节奏。
OpenAI 表示，GPT-5.2 比当今的模型更笨、效率更低，但它在 GDPval 基准上完成任务的速度比人类专家快 11 倍。原始生成速度也指向同一方向：前沿模型每秒输出约 60 个 token，大约是人类说话速度的 13 倍，是人类打字速度的 50 多倍。
我的直觉来自 Ryan Greenblatt 和 Eli Lifland 的一篇精彩文章。以下是改编自他们文章的思想实验：想象一个“慢速”版的 OpenAI（我们称之为 SlothAI）。它拥有与真实 OpenAI 相同的算力，但其研究者每周只工作一小时。他们是世界上最懒的研究者。SlothAI 的进展会慢多少？肯定不是慢 50 倍——即使研究者在一周 98% 的时间里打瞌睡，实验也可以继续运行。但 SlothAI 的人仅凭一小时的劳动，究竟能设计和分析多少严谨的实验？SlothAI 将被迫在算力使用上远比真实 OpenAI 浪费。在我看来，直觉上 SlothAI 的算法进展最终至少会慢五倍。
但相比于一家满是自动化研究员的公司，OpenAI 就是 SlothAI。因此，任何让 SlothAI 生产力更低的原因（例如，他们的研究员用于头脑风暴不同想法、分析和设计实验的时间少得多），也同样适用于 OpenAI。人类的思考速度是生物学的偶然。如果我们的速度恰好就是超过这个点之后思考更快就不再有益，那将是一个奇怪的巧合。
这个估计——一年内取得三到六年的 AI 进展——实际上对应着那一年内四到九年的原始算法进展。这是因为那一年的训练算力并没有增加多少，因此你需要额外的算法进展来弥补这一点。而且这是一个相当激进的估计！在高端，这相当于在一年内从发明 transformer 一路走到获得 GPT-6 的算法配方。
而且你可以在训练过程中对数百万个其他历史问题进行预测训练，在每一个问题的训练中，AI 都能思考数百小时，甚至可能在给出答案之前为相关领域构建计算型 AlphaFold 类模型。
显然，由于世界内在的混沌性，有些预测即使对超级智能来说也是不可能的。但许多预测并非如此。通过这类训练，AI 将获得一种科学和政治判断力，甚至优于最精明、最有远见的人类——在预测他们采取的任何即时行动的长期影响方面，他们会比俾斯麦、李光耀或利奥·西拉德更出色。
举一个更具体的例子，我最近发布了一个我制作的评估，让不同的模型在这个名为《血染钟楼》的黑手党式社交欺骗游戏中一决高下。最近发布的模型彻底碾压了今年早些时候发布的模型，并展现出远为强大的战略推理、长期连贯性、多智能体协调以及整体精明度。这只是 AI 普遍在进步的众多评估（想必并非直接针对训练）之一。
已经有一个名为 nanoGPT speedrun 的公开挑战赛，它源自 Andrej Karpathy 对 GPT-2 类架构的实现。
调试也是可训练的：你可以向训练运行中注入微妙的 bug，并奖励模型找到它们。我在之前的一篇文章中写了一些真实预训练运行失败方式的例子。
顺便说一句，据我所知这已经在发生了——实验室越来越倾向于训练更小的模型并运行大量实验，而不是简单地扩大规模。
这些智能体必须完成的任务包括从嘈杂的 LIGO 数据中探测引力波、修复正则表达式引擎，以及学习玩一款新电子游戏。在这样的环境中，智能体可以花大量时间做实验、获取反馈并修正它们的方法。
当人们谈论持续学习时，往往把两个不同的问题混为一谈。第一个问题是让模型的单一副本像新员工那样，在工作中通过数周或数月的经验来学习。正如我上面所解释的，我认为这主要将来自扩大上下文学习和构建训练环境，教模型如何从这类经验中学习。第二个问题是让基础模型本身从部署在经济中各处的数百万个副本的经验中学习，这将赋予它一种人类永远无法企及的、超越人类的经验广度。这就是我所称的广泛部署智能爆炸。但你并不需要它来获得能与个体人类专家匹敌的 AI。
事实上，无论如何 AI 都将被迫超越人类数据，因为模型在 RSI 期间将进步到超越人类能力（并且在某些领域，已经如此）。
让我们看看开放预训练语料库以及它们随时间如何演变。从我们的博客文章：“我们从 2019 年的 OpenWebText 开始，它只包含从 Reddit 链接而来、获得足够多点赞的网页，然后去重和过滤，因此仅相当于约 90 亿 token（这基本上是 GPT-2 训练所用的数据）。到 2025 年，像 UltraFineWeb 这样的开源数据语料库不仅规模大得多（通过抓取整个互联网），而且使用了复杂得多的过滤（例如，训练一个分类器来预测哪些数据能实证地提升模型性能）。”这全是机器学习研究的家常便饭。它不需要数据中心之外的专业知识来完成。
OpenAI 在2025 年底拥有 174 万个 H100 等效算力。如果这一数字在 2026 年和 2027 年翻两番，那么到 2027 年底他们将拥有约 2780 万个 H100 等效算力。按每个 H100e 每秒 1e15 FLOP 计算，每年就是 8.78e29 FLOP。最初的 GPT-3 在其最终训练运行中使用了约 3.14e23 FLOP。这意味着 OpenAI 2027 年底的算力集群应该能够每年支持 280 万次 GPT-3 训练运行规模的实验，或每天约 7,660 次。而如果只有三分之一的集群用于实验，10,000 个智能体仍然可以各自大约每四天进行一次 GPT-3 规模的运行。
来源：Dwarkesh Patel：Podcast & Blog · dwarkesh.com
来源：RadarAI · aihot.news