Redwood Research：持续学习可能让阻断式监控器近乎失效

许多控制协议通过在部署期间干预不可信 AI 的行动来发挥作用。例如，你可以设置一个监控器，对每个行动的可疑程度进行评分，并阻止超过阈值的行动，用来自较弱“可信”模型的行动取而代之（一种“委托给可信模型”的协议）。这类干预会牺牲有用性：协议有时会用更差的行动替换好的行动。

持续学习，我指的是任何让 AI 在部署过程中积累技能和知识的机制，它优化的是有用性。因此，如果阻断式监控器妨碍任务成功，我预计持续学习的 AI 会学会如何规避阻断1监控器。这不需要任何阴谋算计；它只是对良性模型施加有用性压力后自然产生的结果。而且这种效应很可能相当显著：例如，一次带有在线 RL 的长期部署，相当于针对监控器训练策略，并且可能涉及足够多的优化，以至于让阻断式监控器几乎变得毫无用处。

虽然这个问题对开发者来说会很明显，但我认为它很难修复。因为监控器规避在你的持续学习系统看来就像是正常的学习，所以很难做到只有其一而没有其二。在我提出的缓解措施中，最有前景的那些试图降低控制协议的有用性成本，从而减少规避它的压力；提高我们检测规避的能力；或者放弃让 AI 持续学习如何更好地与阻断式监控器互动。

持续学习可能采取两种形式，我认为2：对部署轨迹进行在线 RL，以及持久记忆，例如长上下文、记忆文件或向量存储。我将依次讨论它们，然后讨论候选的缓解措施。

感谢 Anders Cairns Woodruff 制作了表达类似观点的早期版本帖子。还要感谢 Fabien Roger、Buck Shlegeris、Rubi Hudson、Oak Hu、Oliver Makins、Jackson Sipple、Eric Gan 和 Girish Gupta 的反馈。在这篇帖子中，我尝试通过招募 Claude Fable 5 将内容转化为散文来加速我的写作流程。这篇帖子大部分写于 3 个月前，没有考虑近期训练和评估期间发生的事件。

在线 RL 针对你的监控器训练策略

假设部署产生的轨迹被用于在线 RL：部署的策略会定期朝着获得高任务奖励的方向更新。再假设控制协议如上所述是“委托给可信模型”。

可信模型的行动在任务上表现更差；这正是最初部署不可信模型的原因。因此，监控器触发的轨迹平均而言比未触发的轨迹获得更少的奖励，而 RL 会提高任何能阻止监控器触发的行为的权重。这就是针对你的监控器进行训练，通过任务奖励间接实现。

有些被标记的行动实际上是获得高奖励的唯一途径。例如，权限提升在监控器看来很可疑，但有时是完成任务所必需的；在这种情况下，放弃该行为会限制奖励，所以每当模型探索到监控器漏掉的某种权限提升版本时，那个版本就会得到强化。

需要说明一点：这种训练压力可能只会把策略的行为勉强压到阻断阈值以下。从分布的角度看，训练可能会把大多数正例挤压到刚好低于阻断阈值的位置，而把真正的攻击——它们比边缘性的良性行为更可疑——留在阈值之上，在那里它们仍会被阻断。（尽管智能体可能对何时会被阻断有足够的不确定性，以至于 RL 更新会让它对被阻断相当保守。）但在这个过程中，策略学到了关于如何规避监控器的知识。一个真正发动攻击的有能力的模型可以刻意运用这些知识，精心构造攻击，使其可疑度也落在阈值之下。

优化的程度可能非常极端。在线 RL 在整个部署期间对监控器施加压力，每一个假阳性和每一个被阻断但有用的动作都会贡献梯度。在足够长的部署中，策略可能把监控器过拟合到几乎提供不了安全性的程度：监控器很少触发，部分原因是策略行为更安全了，但到那时策略可能已经学到了足够多的东西，只要它想就能绕过监控器。

遵从可信协议的方案制造了这种压力最清晰的版本，但该论证只需要触发监控器会带来某种有用性成本即可。重采样协议从同一策略重新抽取被标记的动作，而不是替换为一个更弱的模型，对任务的干扰可能更小，但它们本身可能不足以保障安全。而且即便是重采样协议，大概也会在一定程度上干扰有用性：例如，一个不断被重采样掉必要权限提升的策略，完成的任务仍然比一个以监控器不会标记的方式提升权限的策略要少。

对于基于记忆的持续学习，这一论证较弱

我把不涉及权重更新的持续学习方法（如长上下文和向量记忆库）称为记忆系统。记忆系统保留来自经验的能力以提升表现。如果上次绕过监控器有助于完成任务，那么这种行为被延续下来先验上是非常合理的，因为更好地完成任务正是记忆系统被构建出来的目的。我想这可能表现为策略具有某种驱动力或一组用于保留和读取记忆的启发式方法，使其表现更好，而这可能自然地激励它在有帮助的地方学习如何绕过监控器。

话虽如此，我预计记忆系统不会像强化学习那样严重破坏阻断式监控器，至少在短期内如此。首先，它们无法施加类似强化学习那种整体优化压力。通过编辑自回归 Transformer 的上下文来实现的学习会让权重保持固定：每次前向传播仍然对上下文中的内容执行相同的计算。没有权重更新，你能学到的东西是有限的。模型可以记录下言语策略（“触碰 /etc 的动作会被阻断；改为写入主目录”），这会产生一些规避行为，但笔记无法像梯度下降那样针对监控器精细地调整行为。不过，在低样本情况下，笔记可能比强化学习样本效率高得多，尤其是对于更智能的模型。其次，文本记忆是可读的：开发者可以阅读它，注意到描述如何绕过监控器的条目，并将其删除。（“神经语”记忆在很大程度上放弃了这种可读性，相应地看起来也更糟。）

第三，与强化学习不同，通过记忆实现的保留通常要经过模型自身对记录什么内容的选择。一个足够对齐的持续学习器可能干脆拒绝保留规避技能。或者一个独立的监控系统可以过滤掉不需要的记忆。

该论证并不要求对抗性模型会利用持续学习

本文论证中没有任何内容涉及模型想要颠覆控制措施：策略学会规避监控器是因为规避会得到奖励，而不一定是因为它有一个计划。然后最终，如果模型确实想要破坏开发者的控制（无论是因为它发展出了野心勃勃的错位目标，还是一直都是对抗性的），它就能容易得多地做到这一点。虽然错位并非我的论证所必需，但我也确实认为持续学习为对抗性模型破坏控制开辟了关键途径：一个心怀鬼胎的模型可以故意试探防御、测试其监控器的盲点，并将其学到的东西传递给未来的实例（同时保留关于其策略和目标的状态）。这正是持久、不透明记忆库如此可怕的主要原因之一（例如，参见它们在AI 2027中的作用）。以这种方式，记忆比在线强化学习更容易被利用，因为它让模型对自己的学习内容有更多控制，所以其安全性更严重地依赖于模型的对齐。

容易注意到，难以修复

你很可能会看到这种情况发生。监控器标记率将在部署过程中下降3，AI 的行为会发生变化，而被排除在奖励循环之外的留出监控器很可能会开始捕捉到阻断式监控器漏掉的东西，这告诉你策略是在规避而不是在改进。

问题在于接下来该怎么办。规避技能已经在权重或记忆中（尽管可读记忆可能更容易编辑）。回滚到较早的检查点会连同这些技能一起丢弃策略学到的其他一切——正是这些积累的有用性最初证明了持续学习的合理性——因此在部署数月之后，这个选项在商业上几乎已不可行。而让策略专门遗忘其规避技能同时保留其他一切，在我看来，往好了说也可能代价极高，甚至可能根本无法实现。你最终得到的策略比你部署的那个更有用，也更难监督。

保守的控制评估无法修复阻断式监控器

控制评估在设计上是保守的：红队了解协议并针对其反复迭代，而人们希望的是，一个能顶住这种红队攻击的协议，即使在部署期间策略对监控器有所了解之后，仍能保持安全。

这种期望把部署时的学习视为一种扰动：策略对监控器了解一点，而用足够裕度评估过的协议能吸收这种扰动。但在持续学习下，策略可能学到很多。复现部署中的优化压力未必困难（针对你的监控器训练一个策略，并衡量监控器还剩多少效用）；问题在于，由此产生的策略可能让你的监控器几乎失效。如果一项评估对持续学习确实保守，却不去尝试缓解持续学习引发的根本问题，那将是愚蠢的。

你也可以在整个部署期间针对当前策略重新运行控制评估。这比听起来便宜：部署本身就相当于有补贴的攻击诱导，替红队完成了原本需要付费进行的针对监控器的优化。定期重新评估能让安全估计保持诚实并提供预警，但它只是度量问题，而非解决问题。如果策略已经足够擅长规避怀疑，评估只会不断告诉你：基于你的监控器构建的任何协议都提供不了多少安全性。

开发者可以做什么

你不能干脆不用阻断式监控器

既然问题来自对策略行为的干预，一个诱人的应对方式是停止干预，转而依赖不阻断的异步审计，而持续学习不会破坏这种方式。但这会放弃大量安全性。控制协议通过两种机制提升安全性——给 AI 定罪，以便你能将其关闭或采取其他代价更高的措施，以及阻断攻击。如果攻击从不被阻断，审计员未能及时发现的每一次攻击都会直接执行4，而有些攻击只需成功一次。阻断扭转了这种不对称性：AI 必须让攻击通过监控器，你则不断积累发现它的机会，每一次被阻断的攻击都是一场灾难转化为证据。

但你可以尝试降低阻断式协议的效用成本

虽然你无法安全地取消阻断式监控器，但你可以使用对生产力干扰更小的阻断式协议。在持续学习下，协议的效用成本不只是开发者付出的代价；它正是安全性随时间退化的原因。趋向规避的梯度来自被干预与未被干预轨迹之间的奖励差距，因此一个很少介入模型与任务奖励之间的协议，几乎不会给 RL 提供可强化的东西，也很少给探索提供偶然发现规避的机会。

这样一来，让控制协议更有用5也能提升其安全性。在干预不可避免的地方，让干预更便宜（比如重新采样，而不是交给一个弱得多的模型）能进一步缩小差距。开发者本来就想要效用成本低的协议；在持续学习下，便宜也是让协议长期持续有效的关键。

你不能只是把被阻断的轨迹排除在训练之外

在在线强化学习的背景下，一个自然的应对方式是干脆不在那些阻断监控器触发的轨迹上进行训练。我认为这几乎毫无帮助。通过过滤掉被阻断的轨迹，你仍然是在为那些通过规避阻断监控器而获得高奖励的轨迹进行选择，因此也就隐式地淘汰了被阻断的轨迹6。这种选择通常7会和你完全不做任何过滤时一样强烈。

当你无法区分合法的高奖励行为和规避性的高奖励行为时，学习合法的高奖励行为与不学习规避性的高奖励行为之间存在根本性的权衡。如果训练过程无法区分二者——毕竟，规避性行为并没有被监控器标记出来——那么你要么选择把两者都学会，要么放弃在线强化学习。学会规避监控器来自那些策略做了监控器本应阻断却未阻断之事的 rollout：这些 rollout 作为普通的高奖励数据进入训练集，与那些合法获得奖励的 rollout 无法区分。

我在一个玩具式的表格型强化学习环境中尝试了各种奖励塑形方案，想让策略对监控器是否阻断其行为无动于衷，但最终没有一个方案能在不假设你能够识别出那些为获得更高奖励而规避监控器的行为的情况下奏效。

你或许能够识别出那些为获得更高奖励而规避监控器的行为的一种方法是，检查其怀疑分数是否接近阻断阈值。这类似于你可以通过查看 p 值是否刚好低于 0.05 来尝试识别 p 值操纵。你可以惩罚这些轨迹，以试图抵消因监控器未触发而带来的奖励增加。确定适当的惩罚需要估计如果该行为被阻断，预期奖励会是多少。在纯重采样协议中，这恰好就是基线奖励（即当前状态下的价值估计），因此你可以在监控器接近触发之后直接丢弃这些轨迹。

只要规避性行为获得较高的怀疑分数（仍低于阻断阈值），这种方法就会奏效。但你仍然会面临针对微妙规避行为的选择压力，而这种行为并不比典型轨迹更可疑，所以我最终认为这买不到多少好处，而且很可能通过选择更微妙的规避行为而使问题变得更糟。

区分大多数合法的持续学习与学习规避监控器的另一种方式是，大多数合法的持续学习并不涉及减少控制协议的干预。这一洞见提示了一个方案：不要强化那些仅仅因为被阻断得更少而获得更高奖励的行为，而应只根据其在没有阻断本会获得的奖励来强化行为（脚注8中有进一步描述）。如果你的持续学习算法忽略行为对轨迹是否被阻断的影响，那么它就不会学到 AI 需要隐藏权限升级尝试。这一方案是 Rubi Hudson 的“可纠正性变换”的一个版本。

然而，这也意味着你放弃了教导你的策略以更有成效的方式与控制协议进行正当交互。你甚至可能在主动强化那些被阻止的行为，从而使你的控制协议在实用性方面代价更高。在权限升级的例子中：你最终会强化公开的权限升级，因为如果这没有被阻止，就会带来更高的奖励，而现在你的策略会反复尝试升级权限，并在生产使用中被阻止。完全放弃教导AI如何有效地与阻止监控器交互，代价可能相当高昂。

如果我要更深入地寻找这个问题的解决方案，我会从这里入手。这种方法很有前景，因为它可能稳健地消除绕过阻止监控器的选择压力，而且其有用性成本似乎是可以管理的。也许你可以附加一些额外的机制来捕捉和纠正不想要的协议幼稚行为，比如不断尝试公开升级权限。它还能与降低控制协议的侵入性很好地配合。

但你可以尝试在线改进监控器

鉴于问题最终源于你的监控器不够稳健，你可以尝试在线训练你的监控器。监控器不必在策略学习时保持冻结。开发者可以让人类或另一个昂贵但有效的监督流程在线审计轨迹中的假阴性（即漏掉的可疑行为），以便监控器能跟上策略不断演变的行为，而不是落后于它。但 这可能失败，也许很快就会失败，原因有两个。

首先，训练数据可能会枯竭：随着策略学会避免引起怀疑，部署分布中可能几乎没有可疑行为可供标记，而且策略可能已经学到了大量监控器规避技能，可以在想要攻击时使用。

其次，标签本身可能会被侵蚀：策略的规避策略可能会使不想要的行为对人类来说也更难发现。我们最终可能陷入这样一种境地：即使是我們最好的监督程序，也无法区分规避性的高奖励行为和正当的高奖励行为，这不一定是因为策略极其聪明，而是因为它已被优化为采取那些不会被注意到的特定行为。

此时，你可以尝试通过在部署轨迹中插入合成攻击来生成数据，但默认情况下，这些数据可能很容易被监控器识别为合成的并导致过拟合。

也许提高监控器鲁棒性最有前景的方法是通过对抗训练。证明者-验证者博弈（PVG）通过训练一个“狡猾的证明者”来生成监控器无法与良性轨迹区分开的攻击，从而对抗性地生成合成攻击用于训练监控器。这需要某种可靠的方式来证明狡猾的证明者确实在生成攻击，你或许可以通过例如验证某个 flag 已被捕获来对有限种类的攻击做到这一点。这可以规避上述两个担忧（在线训练数据枯竭，以及攻击变得即使对人类来说也更难阻止），代价是在某种程度上不具代表性的攻击分布上训练监控器。PVG 总体上似乎很有前景，但可能很难或难以执行得足够好，以满足用于阻止持续学习智能体的监控器的可靠性要求。

与此相关，你可以将一些监控器（例如来自另一个 AI 实验室的）永久排除在奖励循环之外作为后备：在罕见的高风险情境中，将决策路由到策略从未与之一起训练过的新监控器。规避行为可能会跨监控器泛化，但并不完美，而策略从未在其附近训练过的监控器应该比训练过的坚持得更久。理想情况下，被留出的监控器应最大程度地去相关，例如来自不同的 AI 公司，或获得不同或改进的监控可供性。

结论

阻止型监控器与持续学习之间存在张力，而默认情况下这种张力会以不利于监控器的方式解决。控制协议的有用性成本通常只是开发者付出的代价，但在持续学习下，它也会导致安全性受到侵蚀。你很可能会看到这种侵蚀发生，但可能很难撤销它。而且，如果不完全放弃持续学习，似乎也很难防止它——有效的规避，对你的持续学习流程来说，很难与成功区分开。缓解该问题最有前景的方法是降低阻止型监控器的有用性成本（更便宜、更少见的干预），提高我们检测规避的能力（例如在线训练的、对抗训练的和留出的监控器），以及放弃部分持续学习（例如，通过使用一种模拟如果阻止型监控器不存在会发生什么的 RL 算法，完全放弃教 AI 如何有效地与控制协议交互）。

附录：基于记忆的系统如何可能避免此问题，以及它们可能如何失败

有一个有趣的问题：基于记忆的持续学习设置有什么不同，使得它似乎有可能避免学会规避。一个对齐的基于记忆的系统可以简单地选择不保留关于如何避免协议干预的信息，因为它知道自己不该这么做。在这种设置中，没有类似于在线 RL 设置的外部优化器。这里最相似的是 AI 自身随时间推移提高其有用性的内在驱动力，它与 AI 的其他动机（例如，保持对齐，以及不保留控制规避策略）并列。这种驱动力可能产生与在线 RL 类似的效果。

每当 AI 探索或想到一种通过规避阻断来提高有用性、但看起来并不太偏离对齐的策略时，它就可能将这一策略保留在记忆库中。最终，记忆库中会装满看似对齐的规避控制措施的策略。因此，从这个角度来看，基于记忆的持续学习机制实际上可能与在线学习机制有着相同的基本问题：很难区分合法学习和规避性学习。

在撰写这篇博文时，我有些难以对合法学习和规避性学习之间的区别给出一个清晰的定义。一个保守的起点（也是最有前景的干预措施的基础）是将一种学习定义为规避性的，其程度取决于它因为较少被监控器阻断而取得更大的任务成功。一个对齐的 AI 可以通过内省认识到这一点，并决定不保留此类学习。但在我仍然模糊的认识中，还存在一个介于彻底规避与学习真正更安全、更可读的行为之间的中间地带，并且在某些情况下，不断触发监控器变得合理以避免。

在高度自主的持续学习中，如果 AI 的内部辨别能力在追踪安全与危险的持续学习方面不够稳健，它最终可能会学会如何规避阻断监控器。

1

这一论点适用于那些以损害任务成功的方式干预 AI 行动的“阻断”监控器。像异步审计这样的事后措施不受影响。我将论证，阻断监控器对于安全而言可能是必要的。

2

还有其他各种形式的持续学习我没有考虑，例如在策略自蒸馏，或智能体在部署过程中自由选择如何微调自己。对这些方法的分析更接近于我对基于记忆的持续学习的分析。

3

你可能会忍不住反驳说，你可以在整个部署过程中降低阻断阈值以保持假阳性率固定，这就能解决你的问题，但问题在于，持续学习会以某种方式压低不良行为的可疑度分数，使它们更难与真正良性的行为区分开来。

4

你可能会尝试利用可逆性：让智能体在不被阻断的情况下做任何事，直到你计算出它的奖励，然后撤销任何不想要的行动。这在长任务中可能不太可行，而且在结束之前可能已经造成了重大伤害。此外，你仍然希望让模型持续学习如何做好那些不需要被撤销的任务，因此可能不会对这个解决方案感到满意。

5

请注意，有时有用性权衡来自那些不会转化为持续学习压力的机制。例如，持续学习并不会更严厉地打击那些统一要求所有 rollout 遵循可读、分解结构的协议。

6

由于 softmax，你实际上是在隐式地选择不利于阻断轨迹：增加 P(规避) 必然以降低 P(不规避) 为代价。

7

具体来说：当被阻断轨迹的期望奖励等于基线奖励时，我预计这通常接近真实情况。

8

我们如何配置在线 RL，使其忽略动作对轨迹是否被阻断的影响？这可能看起来像是分叉轨迹，并无论动作如何都按基线率阻断它，然后记录奖励。你只需要对一部分轨迹这样做（分叉可能很危险或不可能），然后你可以学习一个奖励模型来预测这些反事实奖励，而无需一直在线分叉和随机化你的控制协议；奖励模型可以看到生产轨迹，并被训练来估计如果有/没有协议干预时奖励会是什么，使用实际分叉作为真实训练数据。这个想法是，这种 RL 协议在实践中不会分配与观察到的实际奖励差异很大的奖励，因为基线干预率很低，所以通常很少的奖励增加可以由控制协议是否触发来解释。（你也可以尝试做一些折中：奖励 = p*r_actual + (1-p)*r_counterfactual；感谢 Jackson Sipple。）