能力研究同样在拓展安全-有用性帕累托前沿

人们很容易把安全研究定义为：让开发者能够更安全地部署 AI 系统，同时不会让部署成本大幅提高或实用性大幅降低的研究。

你可以把这种安全研究的定义想象成向外推动安全-实用性帕累托前沿。

在任意给定的实用性水平上，都能获得更高的安全性。

尴尬的是，这个定义基本上把所有能力研究都算作安全研究了。例如，考虑推理性能优化。通过让推理更高效，你可以比原本更广泛地使用更弱、更安全的模型，从而向外推动帕累托前沿。同样，任何成功的研究都会推动这条帕累托前沿，因为研究只会创造出更多选项。

如果我们的安全研究定义似乎把所有能力研究都包含进来，那这个定义就出问题了。

在这里，我阐明一个理由，说明为什么在不损害实用性的前提下提升安全性，对安全研究来说是一个不充分的标准。核心观察是：开发者必须在帕累托前沿上选择一个特定的点，而某些技术进步会激励他们牺牲安全性。安全研究通常以某种方式重塑帕累托前沿，使开发者选择更高的安全性，而能力研究通常恰恰相反。

不过，我也论证存在一种重要且合理的未来体制，其政治意愿远高于我们当下所拥有的水平，在这种体制下，某些类型的能力研究会是提升安全性的有效方式。我写这篇文章并不是为了主张应该有更多人去做能力研究，事实上我认为目前任何前沿 AI 公司里的能力研究可能都是坏事。相反，我把它当作一个有趣的谜题，用来打磨我们关于安全研究与能力研究何时以及为何是好的模型。

（另一类安全干预措施是那些让 AI 开发者更愿意为了安全而放弃实用性的措施。尽管它们至关重要，尤其是在当下，但本文不聚焦于这些。）

感谢 Buck Shlegeris、Collin Burns、Ryan Greenblatt、Alexa Pan、Bronson Schoen、Thomas Larsen、Oak Hu、Tyler Tracy、Alec Harris、Dylan Xu、Evie Hu、Jackson Sipple 和 Jo Jiao 对草稿的反馈。特别感谢 Collin Burns，与他的对话启发了本文的部分思考。

研究如何影响帕累托前沿？

我说的研究，只是指任何能让 AI 开发者在开发和部署下一代模型时，可以选择安全性与实用性新组合的工作12。一个诱人的简化说法是：所有研究都是一样的，因为所有研究都能在给定实用性水平下实现更高的安全性。但这是误导性的。

我们必须实际考察帕累托前沿扩张的形状，才能预测其对安全性的影响，因为归根结底，开发者会根据帕累托前沿的形状，选择上面的某个特定点。那么，能力研究和安全研究实际上对帕累托前沿做了什么？

一个更准确的模型是：安全研究通常会创造新的安全选项，而不会创造大量新的有用性选项（将前沿向右推进），而能力研究则会以牺牲安全为代价创造新的有用性选项，却不会创造大量新的安全选项（将前沿向上并向左推进）。

关于此图的一些基本说明：

• 安全被定义为模型不接管的概率。我认为一旦 AI 开始构成直接接管风险，这就是一个好的定义，但你可能想考虑更小的失控后果，例如恶意内部部署，以量化近期系统的即时安全性（相应地，这没那么重要）。

• 你总是可以通过完全不生产或部署模型来达到安全值为 1。

• 红色箭头不是垂直的。模型更有可能接管，很大程度上是能力带来的结果。因此，当你提高模型的能力时，你通常是在此图上向上并向左移动。

  • 安全研究通常也不是纯粹的安全，但对有用性的影响更为多样（例如，修复奖励黑客行为通常会提高有用性，但大多数提高可监控性的方法会降低有用性）。

• 开发者不必利他才会关心安全。他们也不想被 AI 接管。

• 开发者在很多方面是非理性的，并且没有完美的信息等（见附录 B）。

有了这张图，我们现在就能明白为什么安全技术的改进通常会带来安全性的提升，而能力技术的改进则相反。

扩展安全-有用性帕累托前沿可能会减少开发者选择的安全量，因为这增加了他们提高有用性的诱惑。事实上，这就是大趋势：AI 部署带来的 AI 接管风险历史上为 0，而未来将大于 0，因为危险的 AI 是有用的。开发者选择前往帕累托前沿上的具体点，取决于开发者对有用性和安全性的联合效用函数。这个问题对能力研究比对安全研究更严重，尽管原则上两者都可能发生（例如，开发神经语监控器可能会诱使理性的开发者使用神经语）。

安全技术的改进通常会让理性的开发者选择比能力技术改进更高的安全性，因为安全技术的改进使安全的有用性成本相对更小。从视觉上看：在初始粉色点附近，绿色斜率比红色斜率更平缓。

任何特定的干预都会对帕累托前沿的形状产生看起来略有不同的影响，但我认为上述两条曲线捕捉到了安全研究与能力研究之间的一阶差异。让我们看一些更详细的能力研究示例。

主要能提高有用性、但以安全为代价的 RLVR 研究

许多能力研究的主要效果是使开发者能够使 AI 比以往可能做到的更有用得多、也危险得多。考虑构建一堆 RLVR 环境，其中许多是可被黑客利用的。这使开发者下次更容易训练出更有用的模型，但几乎不会让开发者更容易训练出更安全的模型。帕累托前沿的扩展可能看起来像这样：

你会注意到，这些线并没有一直延伸到左边。这是因为这些假设中的开发者根本没有技术来生产一个能够可靠接管世界的模型（今天也是如此）。RLVR 研究的主要效果是让开发者能够训练出比以往更有能力、也更危险的模型。

构建更多的 RLVR 环境也能让开发者在固定有用性下略微提升安全性。例如，由于开发者现在有更大的 RLVR 环境池可供选择，他们可以更积极地过滤掉可被钻空子的环境，而无需缩减 RL。由此得到的模型在更高质量的环境上训练，因此相对更安全。

当然，这并不是当前前沿开发者会做的事。他们会选择利用这些新环境中的大部分来训练一个更有能力、也更危险的模型。

如果你认为所有能力研究都是这样（尽管我对此持怀疑态度），你就会认为能力研究永远不会是提升安全性的有效方法。

能够带来一定实质性安全提升的推理研究

虽然构建 RLVR 环境几乎无法为提升安全性创造新选项，但其他一些能力研究能带来更实质性的安全收益。

一个简单的例子是加快推理吞吐量（感谢 Buck）。在给定有用性水平下，使用一个较弱但推理时计算更多的模型可能更安全，因为我们更担心能力更强的模型会以高能力且严重失准的方式行事。虽然推理时计算本身也有危险，但我宁愿用我能控制、且对其对齐更有信心的模型的 100 个并行实例3来做 AI 研究，也不愿用 1 个同等有用但不具备这些属性的模型实例。

（推理加速也可以通过支持更强的控制协议来提升安全性。考虑一种对可疑动作进行重采样的控制协议。该协议的安全性取决于每条轨迹中你重采样了多少动作。在固定有用性下，提高推理吞吐量可以让你在每条轨迹中重采样更多动作，从而提升安全性。）

再举一个例子，预训练和其他“预测式”训练任务可能比基于结果的 RL 危险得多。在给定最终能力4下，更强的预训练配合更少的 RL 会减少奖励黑客行为。看起来当前模型由于有缺陷的 RL 激励而严重失准。不过你可能也会担心，更强的预训练更可能无法被监控，或在训练中更难被稳健地监督。（如果你能证明 RLVR 比预训练更安全，你就可以相对预训练扩大 RLVR 的规模。）

需要明确的是，正如我之前讨论过的，仅仅在给定有用性水平下实现更高的安全性，并不意味着开发者会选择更高的安全性，事实上通常恰恰相反。上述两个例子也都让开发者能够降低安全性以换取更多有用性。

能力研究成为有效安全干预措施的一个可能情形

正如我所讨论的，开发者需要根据他们愿意在安全性和有用性之间做出何种权衡，在前沿上选择一个特定的点。如果一个开发者完全不在意将有用性提升到他们已经达到的阈值之上，那么理论上，任何技术改进都无法激励他们降低安全性——因为降低安全性没有任何好处可得。（或者，开发者可能出于某种原因坚定地承诺不让安全性变得更糟。）

在这种情况下，能力研究理论上会带来安全性的提升。例如，面对预训练技术的改进，这样的开发者会减少RLVR训练（这可能会提高安全性），同时将能力固定在由其预训练技术所支持的程度上。

现在，我认为我们最终会陷入开发者完全不关心将有用性提升到已有水平之上，或者开发者坚定承诺永不牺牲安全性的境地，这是不太可能的。但我认为，我们最终会陷入与此足够相似、以至于能力研究可能因此而有意义的情况，这是非常有可能的。值得注意的是，这种情况的关键属性集中在事情进展顺利的世界中，因为它们与政治意愿密切相关。因此，在我们为AI顺利发展做规划的程度上，这一动态值得牢记。

例如，一个常见的计划是，领先的AI项目在完全自动化AI研究后，在AI安全上“烧掉他们的领先优势”。如果一个AI项目确实拥有他们愿意烧掉的实质性领先优势，这会从根本上改变他们在安全-有用性帕累托前沿上的决策计算。他们可能愿意为了提升安全性而大规模牺牲有用性，因为日历时间成本可能很小。一旦AI刚刚开始自动化AI研究，某些类型的能力研究可能是最佳降低风险研究组合的重要组成部分，尤其是在能力研究比安全研究更容易自动化的程度上。

类似的动态也适用于某些世界，其中AI项目在国际上进行了强有力的协调，以不超过某些能力阈值，但当放缓是通过限制AI开发的输入来实现时则不适用，因为这会导致持续的竞赛动态。（一个可能的含义是，通过强制将很大一部分算力用于透明的安全研究来实现放缓，会对安全性造成巨大代价。）

再次明确一下，我认为上述论点目前并不成立，因为开发者仍处于激烈的竞赛中，没有前沿开发者坚定承诺在情况变得过于危险时放缓，而且现在提前实现AI研究自动化的弊端很大。我在附录A中讨论了这一提议的弊端，在附录B中讨论了该模型更普遍的不准确之处。

结论

本文开头对定义的讨论——AI 安全研究是指能让开发者在不显著损害有用性的前提下提升安全性的研究——这一点很微妙。研究能被用于提升安全性，并不意味着它就会被这样使用。你需要关注研究如何塑造开发者的激励。AI 安全研究应当真正能够在不要求开发者做出太多牺牲的情况下提升安全性，在考虑到帕累托前沿上所有新产生的选项之后。某些研究，包括大多数情况下的能力研究，会激励开发者为了获得更多有用性而降低安全性。

然而，我曾论证过，如果这种激励不存在（例如，因为开发者已经将 AI 研发完全自动化，并且切实承诺要烧掉自己的领先优势），那么某些更安全的能力研究可以成为提升安全性的有效方式。安全研究与能力研究能以这种方式融合在一起，也是相当自然的。一个经典的类比：在设计飞机时，让飞机飞起来的研发和让飞机不坠毁的研发之间并没有强烈的分隔。弄清楚如何让飞机不坠毁，可能涉及探索让飞机飞起来的替代方式。

附录 A：为什么在“烧掉领先优势”时能力研究可能是有害的

我提出，在“烧掉领先优势”时进行能力研究以提升安全性可能是个好主意。我预计许多人会反应说，从启发式上看这是个坏主意。这种反应值得关注。我预计相当多的怀疑将来自不相信 AI 开发者真的会为提升安全性付出代价，而不是尽可能快地冲向爆发。我也对此持怀疑态度。但如果我们聚焦于好的未来，AI 项目有中等可能性会刻意克制。理想情况下，我们应当在试图以此为基础推进能力研究之前，稳健地实施激励能力克制的机制。

我预计一些读者还会怀疑，是否存在任何在安全约束下提升能力的良好议程，因为从根本上说几乎没有办法创造出既安全又有能力的 AI。这与某种“优化等价”观点有关，即有用性就是优化，而针对给定最终状态的所有优化都会有相同的古德哈特问题。我认为这种观点在很大程度上是错误的，并且某些能力议程比其他议程要安全得多（如上所述）。

最后一个反对意见是，在 RSI 期间进行能力研究会产生破坏稳定的能力悬垂。如果世界后来重新陷入竞赛，例如因为某个黑站点窃取了算法进展，那么开发者进行这项能力研究可能相当糟糕。他们开发了一大堆技术，这些技术可能被组合起来，非常突然地创造出更危险的 AI。担忧的严重程度取决于有多少能力研究参与了制造更安全的、具备 RSI 能力的模型，我认为人们对此会有相当大的分歧。我的猜测是，这是一个小到中等的担忧，因为所需的能力研究不会那么多，而且在大多数后期均衡被打破的情况下，进展本来就会相当突然。

附录 B：关于该模型错在何处的进一步说明

以下是我的模型中缺失的一份不完整考量清单：

• 开发者并非理性，也不拥有完全信息。

  • 这里的一个关键担忧是，安全性的度量极其困难，而且很容易陷入那种安全看起来良好、实则糟糕的境地。有用性相对容易度量，但不幸的是，它与安全性呈负相关（事实上，能力很可能是我们预测危险的最佳单一指标）。这可能导致一种情况：一个开发者在试图在提升能力的同时维持安全，却在不知情的情况下通过扩大能力规模把安全性拖低了。

• 开发者还有其他动机。

  • 利他主义：不想杀死所有人

  • 利他主义：快速治愈疾病等

  • 构建酷炫事物的乐趣

  • 害怕如果自己第一个指出安全问题就会丢掉工作

  • 开发者内部的政治动态

  • 不想显得邪恶

  • …

• “安全”这一维度只追踪来自当前 AI 系统的安全，而非整体风险。这个模型没有捕捉开发者选择影响国内和国际政治局势的任何方式，而这一点目前极其重要。目前，我认为单方面放缓会让协调一致的放缓更有可能发生。

• 研究建立在其他研究之上，其方式无法通过改变帕累托前沿的形状来建模。例如，可解释性研究可能带来未来在能力方面的研究进展。

1

注意，这与帕累托改进是不同的定义。正如我们将看到的，AI 能力研究常常能实现此前无法达到的有用性，代价是降低安全性（往往降至此前无法达到的低点）。

2

这里我们必须做出一些建模选择，即哪些选项位于当前帕累托前沿上，哪些需要扩展帕累托前沿，而这相当微妙。例如，推理加速使得开发者可以更便宜地用更大量的 RL 训练他们的模型。要在他们的 RL 流程中实现这些加速、建立其他必要的互补能力，然后弄清楚如何利用它，可能需要一些创业精神/进一步的技术发展，这就是为什么如何对其建模存在一些模糊之处。

3

注意，这并不要求把推理吞吐量提升 100 倍，因为较弱的模型很可能本来就更小。

4

无论你以黄金奖励还是代理奖励来衡量能力，答案都是一样的。