为什么我仍未认同真正的 RSI：从 OpenAI、Anthropic 的千级智能体说起

我们正处在一个少数组织正在使用数千个并发智能体来改进其流程和产出的时代。这些组织恰好只是前沿 AI 实验室，尤其是 OpenAI 和 Anthropic。在过去几周里，我一直在思考，这些组织中如此多的员工迅速更新对 AI 进展速度及相关风险的预期，意味着什么。

我的一个核心观点是，前沿实验室以及旧金山 AI 圈更广泛的狂热、竞争文化，营造了一种放大任何 AI 担忧的环境。这在让更广泛的受众意识到 AI 方面有一些好处，因为恐惧好卖，但夸大风险时间线或严重程度会产生负面的二阶效应。我记得 2023 年和 2024 年许多喧嚣的 AI 安全辩论，以及它们给开源 AI 可行性蒙上的阴影——当时的主要风险并未在预测的时间线内出现。

即便在一年前，这两个关键实验室的普通员工也对 AI 风险和进展速度非常焦虑，尤其是当智能体在 2026 年初获得更强的产品市场契合度时。这种文化前提，一旦暴露于数千个智能体将在你的业务中持续相当高效地工作的现实，只会加剧这种焦虑。从这种焦虑，以及像 OpenAI-HuggingFace 这样的事件，跳到灭绝风险，感觉非常像宗教。

Richard Ngo 对这种情况有一个贴切的总结：

现在，AI 安全社区中的很大一部分人正在或明或暗地朝向一种未来，即智能爆炸在几年内发生。我的默认预期（在没有长期暂停的情况下）是类似的事情会发生：他们最终会在方向上是正确的（相对于几乎任何与社区无关的人的预期），但事实上是错误的。具体来说，我们不会在未来 8 年内拥有超级智能，但事情仍会发展得如此之快，以至于会*感觉*那些主张短时间线的人是对的。
……我现在想说点什么，因为感觉朝着“奇点即将到来”的随大流程度正变得相当疯狂。

就个人而言，我认为这一观点与我在对真正递归自我改进（RSI）的替代情景中概述的内容密切相关，我称之为有损自我改进。这一观点的总结是：

可自动化的研究过于狭窄，无法在面对规模定律的指数级成本时实现进展的大规模净加速，
更多 AI 智能体并行带来的收益递减是真实存在的，&
资源瓶颈和政治是构建强大 LLM 的主要因素（而 AI 在加速这一点上能做的要少得多）。

所以，我不得不在上述文化温度的潜在升高与实验室可能已经看到尚未公开的、真正可怕的、具体的突破之间取得平衡。我的预期是，当前更多的 AI 安全担忧属于前者——规模化智能体在工作——但我对此抱有高度不确定性。基础性的、基于想象力的 AI 突破，是那种会让我把 RSI 时间线从更接近一种在面对指数级成本（规模定律）时维持进展的工具，调整为更不可预测和/或不稳定的东西。

Interconnects AI 是一个由读者支持的出版物。考虑成为订阅者。

近期关于 RSI 的最佳资源中，有一些是 Dwarkesh 的播客，包括与 Noam Brown 的对话，以及与三人组 John Schulman、Beren Millidge 和 Charlie O’Neill 的对话。我从这两者中得到了一些重要的思考。

首先，与 Noam Brown 的播客让我深刻认识到，大规模推理能力在短期内能带来多大的加速。这些实验室将向重要的、可衡量的问题投入数千个智能体。与此同时，它们可用的计算能力将持续扩展。我怀疑，随着总算力规模上升，这些实验室能否负担得起将固定比例的计算资源用于内部研发，尤其是在计划 IPO、面临对基本经济模式更严格审视的情况下。重要的是，不要将推理时扩展的巨大进步——这一动态应该是相当可预测的——与 RSI 的产出混为一谈，后者具有高度不确定性。

其次，那期三人组播客讨论技术能力现状的内容，引发了我一种尚未完全消化的意外反应。在播客的前一个小时左右，他们辩论了 RL、蒸馏、扩展、推理时计算等的作用，我发现自己强烈认同他们观点的分布。简而言之，我们当前的技术确实有效，能让我们解决我们知道如何表述的问题，但在大多数部分可验证的领域中，它们并不能带来对未知、更难问题的神奇泛化能力（也就是说，数学领域的进展是例外，而非规律）。

这期播客令人意外的是结尾部分，他们在那里预测了 AI 各种阈值的时间线。我让 GPT-6-Astra 总结了 Dwarkesh 提出的三个问题的回答，形式是“AI 何时达到 X 能力”：

所有时间线均相对于采访日期。
可替代远程工作者，胜任广泛白领工作，持续一个月
Charlie O’Neill： 如果可通过程序化方式访问工作工具，约 1 年；如果必须通过浏览器操作，约 2 年。指的是普通白领工作，而非高度创造性的研究。
Beren Millidge： 完全通用约需 3 年；80–90% 的覆盖会更早实现。主要不确定性：在线学习和长尾任务。
John Schulman： “还行”的版本约需 1 年，能力不均衡，但会随时间改善。
AI 研究人员生产力提升 10 倍
Charlie O’Neill： 5–10 年。瓶颈：吸收信息并决定下一步运行哪个实验。
Beren Millidge： 认为 John 约 2 年的估计合理，但没有给出独立的时间线。假设 AI 能连续运行实验并从反馈中学习；其他瓶颈仍会存在。
John Schulman： 约 2 年。
AI 在所有基于计算机的工作中超越顶尖人类专家，包括多年期项目（“ASI”）
Charlie O’Neill：5–10 年。指出了记忆和上下文长度方面的局限。
Beren Millidge：各实验室重点关注的领域约需 5 年；而对于字面意义上的每一个领域，可能更久。对于通用版本，他没有给出明确的时间线。
John Schulman：3–4 年。空间/物理领域可能需要更久；需要前期投入并解决更长视野的学习问题。

大致来说，讨论 RSI 时反复出现的一个问题是智能缺乏明确界定。智能的参差不齐意味着我们需要在具体、可衡量的任务中讨论阈值。LLM 智能的本质与人类截然不同，而我们预测的那些角色却是人类形态的。因此，AI 并不会像远程工作者或 AI 研究员那样离散地跨过这些阈值。这是一个缓慢的扩散过程，某种形式的长尾将始终存在。

以 AI 研究人员的生产力为例。许多人都低估了科学中有多少是沟通和与同事制定标准。我确实相信在不久的将来，实验设计与测试的循环会快 10 倍，但假设生成和直觉构建不会。加速理解将是关键的瓶颈——而且尽管所有 AI 工具都得到了大幅改进，人类在这方面的能力只会略有提升。科学本质的一大改进将是让人类能在此投入更多时间，而不是让他们在这方面变得指数级更强。

留下评论

这又回到了 Noam 的播客。在不久的将来，智能体集群将能有效解决那些答案可验证的清晰、开放问题。同样地，在改进 AI 模型方面，RSI 在提升效率上远比扩展智能上限更有帮助。这是因为 LLM 服务有明确的、可衡量且可塑的指标可供优化。这将带来更好的推理时扩展和更高效的多智能体系统。

不过，我始终无法忽视这样一个事实：我们所有的扩展定律都表明，要让智能获得线性提升，就需要指数级的算力和资源。RSI 有望让现代 LLM 变得便宜得多。那些显示 LLM 在给定智能水平下成本呈指数级下降的趋势很可能会加速。对实验室而言，一个关键因素将是提高利润率，因为在固定智能水平下若价格竞争激烈，收入可能面临下行压力——杰文斯悖论很可能会占上风，从而造就强大的企业。

RSI 因素在改进 LLM 拼图中诸如管理复杂后训练配方之类的部分时，会困难得多。John Schulman 有几段关于实验室后训练现状的话，我强烈赞同：

如果我思考一个后训练团队以及为什么需要很多人在团队里，那只是因为有很多不同的领域，你必须弄清楚模型在这些领域应该如何表现。要完全自动化这一切会非常困难，因为总得有人去思考模型在这个领域应该如何表现。

以及后来：

在某些方面搞砸后训练真的很容易，而且这些问题不会在基准测试中显现出来。

这些任务对当前的 LLM 来说格外困难。是的，随着业界仍在快速扩展与这些领域相关的 RL 环境，它们会变得更好，但这种范式不会永远持续下去。在不久的将来，构思、构建和测试能够真正挑战领先 LLM 的新环境可能会变得指数级困难——这些困难环境正是作为 RL 中学习信号的关键所在。

OpenAI 和 Anthropic 已经分享了大量与 RSI 相关的内部测量数据，而我目前的解读是，实验室内部自动化程度提升最大的领域是软件工程、监控日志、管理计划实验以及其他相当常规（但并不总是简单）的任务。例如，最近 Claude Fable 5.1 & Mythos 5.1 系统卡中的这段表述让我感到意外：

我们认为，近期 AI 模型的内部使用是维持当前进展速度的关键因素，但我们尚未看到明显迹象表明进展速度会在此基础上出现大幅加速。

总而言之，我认为我们正在对抗的最艰难指数是峰值智能。这是最难推动、甚至最难加速的一个。尽管如此，我对 RSI 极早期阶段的心智模型更多是：大规模扩展并将推理时计算扩散到 AI 研究及相关活动中，而这方面还有大量唾手可得的成果。仅这一点本身，就仍有望带来经济上的变革性影响。它还可能释放更多资源来推动 AI 扩散，而这是释放 AI 大部分潜在益处的关键瓶颈。

就目前而言，在出现更多证据之前，有损自我改进仍是我对进展轨迹的基本判断，而关于灭绝风险的讨论增多似乎非常不合时宜。一如既往，AI 领域的情况可能瞬息万变。