我预计 AI 会快速进步，但不会走向通用超级智能

我常常感到惊讶，当我从行业顶尖研究人员那里听说他们认为人工智能将在几年内比他们更擅长自己的工作，而我并不真正知道自己为什么怀疑这一点。我得出的解释是，研究人员看到了模型在基础设施和工程能力方面的巨大加速。我完全同意，几年后模型将成为超人的分布式GPU工程师。这将使对模型公式的实验和修补变得容易得多，但这不会使我们的模型在本质上发生巨大变化。

在某些方面，Ilya早早地宣布了AI进入了研究时代。如今有了编码代理，研究变得容易多了。这种便利是通过一种灵活且引人入胜的不同工作形式实现的，这标志着一个时代的开始，在这个时代，好的想法在软件中可能比好的执行更有价值。

我们在这条路上还处于非常早期的阶段。这也不是该领域在AI更偏向“研究”还是“工程”的平衡上经历的第一次转变。在深度学习起飞之前，AI也更像是一种研究努力。如今，众所周知，最优秀的研究人员是根据他们在复杂基础设施中实现和扩展自己想法的能力来评判的。我们即将经历几年的巨大加速，届时瓶颈将再次越来越少地来自工程。有人称之为RSI，但更接地气的形式就是“并行化、AI辅助的语言建模”。你不需要相信起飞场景，就能看到基础设施的改进即将到来，以及这将如何改变AI工作的本质。

本文的目的是概述为什么这种工程加速会发生，并谈谈它不会完全解决什么。即使我们无法在数学和编码之外获得具有经济价值的超人特质，这也将极大地推动技术向经济扩散。这种近期进展的很大一部分来自于用当前工具扩展推理时计算，而不是模型在研究方面有多好的戏剧性阶跃变化。

AI训练和推理栈的许多部分都是非常可验证的。训练指标如每GPU每秒令牌数，也就是训练速度。推理指标看起来像是每个提示的令牌数、每个令牌的FLOPs，或者实际上就是每个答案的成本。这两者都非常可优化，尤其是因为存在已确立的子问题和架构权衡可以改进它们。我预计AI代理将在几年内帮助端到端地优化这一过程，届时我们的推理能力将非常接近GPU等加速器上可能达到的底层最大计算量。在过去几年中，公司在推理效率上能获得的收益已经巨大，例如在宣布某个价格点后，为模型提供服务可节省约10-30%的成本。整个栈将复合增长，我预计未来几年模型智能的有效成本将呈近指数级下降（可能比近期趋势更快）。

这一效率上的低垂果实只需几年就能摘取。更长期来看，将是加速器与模型在更长时间线上的协同设计，这能在灵活的 GPU 平台之上再带来几个数量级的效率提升。在这一效率快速提升的时期，GPU 的灵活性应当被善待，因为架构上的探索空间似乎很重要，并且像是自动化研究的一个主要杠杆。对我来说，预训练研究——至少是服务于我们当前这类模型的架构和数据选择——在 2-3 年内实现自动化，这个预测是合理的。

所有这些都将成为智能体模型杰文斯悖论的巨大触发因素。我预计需求只会增加，因为该行业在很大程度上受制于如何找到更好的方式来定位和交付智能体。Meta 的 Muse 智能体是一个早期迹象，我们应该期待面向不同受众和目标用例的更多类似 Muse 的体验。其价值来自于理解智能体如何工作，而非推动性能的前沿。

在生物学和化学等更广泛的科学文献中，相应的阶段将是一个由模型发现大量跨子领域发现所定义的时代。AI 模型在爬取文献、在稀疏网络之间建立联系方面超越人类，而这些网络目前由很少互动的小型科学家群体管理着。这究竟是预示着科学发现的新时代——例如治愈大多数癌症——还是加速科学本已踏上的轨迹，两者之间只有一线之隔。

另一个工业规模的低垂果实是提升 RL 环境的总体质量。不用费力寻找，就能看到又一家新的 RL 数据公司营收突破 1 亿美元或 10 亿美元。数量远超我的预期。该行业的平均产出质量低得惊人。无数研究者都认同，他们买来的很多东西坦白说就是垃圾。与此同时，领先实验室从购买数据中看到了清晰的投资回报。

许多 RL 环境糟糕的方式显然是可修复的。