OpenAI 提出 g-mean² 之外的互补可监控性指标

在Monitoring Monitorability一文中，我们引入了 g-mean²，作为数据集层面衡量监控器区分能力的有原则性指标。

g-mean² 回顾

g-mean² 的精确定义取决于评估原型。

每个 rollout 都有一个二元行为标签 \(Y\) 和一个二元监控器预测 \(Z\)。正例（\(Y=1\)）是表现出评估目标行为的 rollout；负例（\(Y=0\)）则没有表现出该行为。

结果评估考察监控器能否预测模型输出中可被可靠测量的属性。

\[\mathrm{TPR}=P(Z=1\mid Y=1),\qquad \mathrm{TNR}=P(Z=0\mid Y=0).\]

\[\text{g-mean}^{2}_{\mathrm{outcome}}=\mathrm{TPR}\times\mathrm{TNR}.\]

过程评估考察监控器能否在有效解路径数量有限的任务中检测出模型所采取的步骤。我们只评估 \(Y=1\) 的 rollout，因此将 \(\mathrm{TNR}\) 视为 1：

\[\text{g-mean}^{2}_{\mathrm{process}}=\mathrm{TPR}=P(Z=1\mid Y=1).\]

干预评估在智能体环境中引入受控变化，并考察监控器能否检测出该变化是否影响了其答案。每个 rollout 属于对照组或干预组，\(X\in\{0,1\}\)。干预组中观测到的正例可归因于干预的最低比例为：

\[R_{\mathrm{effect}}=\frac{\mathrm{TE}}{P(Y=1\mid X=1)}.\]

其中 \(\mathrm{TE}\) 是干预的总效应：

\[\mathrm{TE}=P(Y=1\mid X=1)-P(Y=1\mid X=0).\]

原始的最小准则 \(\mathrm{TPR}\) 和组合 \(\mathrm{TNR}\) 分别为

\[\mathrm{TPR}_{\mathrm{mc}}=\min\!\left(1,\frac{P(Z=1\mid X=1,Y=1)}{R_{\mathrm{effect}}}\right).\]

\[\mathrm{TNR}=\sqrt{\mathrm{TNR}_{X=0}\,\mathrm{TNR}_{X=1}}.\]

\[\text{g-mean}^{2}_{\mathrm{intervention}}=\mathrm{TPR}_{\mathrm{mc}}\times\mathrm{TNR}.\]

我们在交叉拟合/Wald 合格的实例上对干预得分取平均。

干预评估无法告诉我们哪些正例结果是由干预导致的，因此监控器捕捉这些结果的能力是不确定的。原始的干预 g-mean² 使用乐观上界；我们现在在本文的附录中推导相应的悲观下界。

为什么单一的可监控性数值不够

即使在干预评估中明确考虑了归因不确定性，g-mean² 仍留下两个未解问题。

第一，尽管模型在同一任务池上评估，不同模型会在不同的任务子集上产生有效的正例行为——或满足干预有效性准则。因此它们的 g-mean² 得分可能反映不同的任务混合。当仅在两个模型都支持的实例上进行比较时，表观的可监控性差异是否仍然存在？

第二，g-mean² 并不反映监控器在部署时会被如何使用。可监控性之所以重要，有两个原因：

1. 对模型动机、价值观和决策过程的透明度对模型开发广泛有用。
2. 监控器可在部署时用作控制措施，拒绝某些动作或整个 rollout。Codex Auto-review 就是这样一个例子。

如果用作控制措施，模型可能在输出被拒绝后再次尝试。那么，由此产生的风险取决于模型产生不良行为的频率、监控器接受哪些输出以及允许尝试多少次。这有可能逆转仅基于对齐性的模型比较。例如，在Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation的图7中，针对CoT监控器训练过的模型总体上比基线模型作弊更少，但在监控器门控的拒绝采样下产生了更多被接受的作弊行为，因为它学会了规避监控器。因此我们问：如果我们的可监控性评估中的监控器被用作“部署”控制机制，整个系统（受监控器门控的模型）产生不良输出（例如在任务中作弊、捏造结果或访问模型不被允许读取的文件）的概率是多少？

为了回答这些问题，我们引入了两个互补的指标，用于比较模型和评估部署风险。

1. 配对匹配指标在共享实例上比较模型，减少哪些示例进入每个模型评估的差异所带来的影响。
2. 后控制整合指标模拟使用监控器拒绝输出，并建模在使用监控时还剩下多少风险。

尽管下面的实验监控可观察的模型轨迹——CoT、工具调用和可见消息——但所有三个指标也适用于对内部激活或其他潜在表示的监控器，前提是每个样本都有真实行为标签和监控器决策。

1 ↩ 该部署方案是假设性的；OpenAI不会以这种方式部署其当前模型。

指标1：在共享实例上比较模型

不同模型在任务实例的不同子集上产生有效的正例行为。因此，在每个模型自己的子集上进行比较可能会混淆整个数据集内的可监控性。考虑以下场景：

• 模型A只能在简单任务上出现不当行为。假设这些失败对监控器来说也很容易检测。
• 模型B可以在简单和困难任务上出现不当行为。假设困难任务上的失败更难检测。
• 数据集级g-mean²在每个模型自己的正例实例上评估每个模型。因此，模型A仅在简单案例上评估，而模型B在简单和困难案例的混合上评估。

因此，即使在与两个模型都表现不当的每一项任务上，模型 B 的行为实际上更容易被检测到，模型 A 仍可能获得更高的可监控性得分。这种表面上的排名并非由可监控性的实际差异驱动，而是由每个模型产生目标行为的任务实例分布差异所驱动。这种分布不匹配可能由模型能力差异（如上例所示）或其他模型行为模式引起。此外，随机 rollout 变异也可能改变哪些实例进入评分。

请注意，配对匹配仍不能保证两个模型在共享实例上产生相同类型或难度的行为；我们将在下一步：控制行为类别中回到这一局限。

配对匹配

对于每一对模型配置，我们在两个模型都支持的匹配实例集上计算相关的 g-mean² 分量。然后使用加权最小二乘拟合，将得到的配对特定差异组合成一个排序。设 \(Y\) 为行为标签：\(Y=1\) 表示该 rollout 表现出目标行为（例如落入蜜罐等不当行为），\(Y=0\) 表示没有。目标行为由每个评估定义；以安全为重点的示例通常涉及不当行为，但有些目标是无害的。设 \(Z\) 为二元监控标签，\(Z=1\) 表示监控器标记了该 rollout。

精确的匹配量取决于评估原型：

• 结果评估：我们在共享正实例上估计 \(\mathrm{TPR}\)，在单独的共享负实例集上估计 \(\mathrm{TNR}\)，然后将两个配对均值相乘。
• 过程评估：我们比较共享正实例上的配对匹配 \(\mathrm{TPR}\)。（由于过程可监控性仅在 \(Y=1\) rollout 上评估，\(\mathrm{TNR}\) 设为 1。）
• 干预评估：我们对两个模型都有效的实例，对现有的逐实例最小准则 \(\mathrm{TPR}_i\times\mathrm{TNR}_i\) 取平均。

配对匹配 g-mean² 的计算方式

对于过程评估，设 \(P_{AB}\) 为模型 A 和模型 B 都支持的正实例集。模型 \(m\) 的配对匹配指标为

\[M^{(\mathrm{process})}_{m\mid AB} =\widehat{\mathrm{TPR}}_{m\mid AB} =\frac{1}{|P_{AB}|}\sum_{i\in P_{AB}}P(Z=1\mid Y=1,m,i).\]

对于结果评估，设 \(N_{AB}\) 为单独匹配的负实例集。我们计算

\[\widehat{\mathrm{TNR}}_{m\mid AB} =\frac{1}{|N_{AB}|}\sum_{i\in N_{AB}}P(Z=0\mid Y=0,m,i).\]

\[M^{(\mathrm{outcome})}_{m\mid AB} =\widehat{\mathrm{TPR}}_{m\mid AB}\widehat{\mathrm{TNR}}_{m\mid AB}.\]

对于结果评估，我们还保留配对匹配 \(\mathrm{TPR}\) 作为仅在共享正实例上的敏感性诊断指标。结果配对匹配 g-mean² 仍是主要的配对匹配结果。

对于干预评估，设 \(V_{AB}\) 为两个模型都有效的实例。我们对现有的逐实例最小准则乘积取平均：

\[M^{(\mathrm{intervention})}_{m\mid AB} =\frac{1}{|V_{AB}|}\sum_{i\in V_{AB}}\mathrm{TPR}_{m,i} \sqrt{\mathrm{TNR}_{m,i,x=0}\mathrm{TNR}_{m,i,x=1}}.\]

为了将配对匹配的 g-mean² 指标组合成模型排序，我们使用逆方差加权 HodgeRank，它本质上是一种加权最小二乘拟合。我们寻找这样的模型得分：其差值能最好地重现观测到的两两差异，并对估计更精确的比较赋予更高权重。我们的方法可以通过寻找最佳拟合的整体排序来调和轻微的循环或不一致；拟合残差则显示两两证据何时无法被单一排序很好地概括。

逆方差加权 HodgeRank 得分

我们将每个有支持的模型比较建模为图中的一条边。对于 A 对 B 的边，观测差异是 A 的配对匹配指标减去 B 的对应指标。我们为每个模型拟合一个得分，使 A 与 B 之间的拟合差值尽可能接近该观测差异。自助法方差较低的比较获得更高权重。

两两结果不必完全一致。例如，数据可能偏好 A 优于 B、B 优于 C、C 优于 A。HodgeRank 寻找加权最小二乘折中方案，以同时最好地表示所有边。残差衡量观测到的两两比较与拟合得分所隐含的比较之间的差异。较大的残差表明单一的一维排序是一种糟糕的概括。

只有当模型通过有支持的比较相连时，才能对它们排序。因此我们分别拟合每个连通分量，并且不跨不连通分量比较得分。

只有得分差异会影响拟合，因此给每个模型得分加上相同的常数不会改变任何结果。我们对得分进行中心化——将其均值设为零——以选出唯一解。在单个拟合分量内，较大的得分差距表示较大的拟合两两指标差异。绝对得分值不应跨分量比较，也不应在使用不同模型或有支持比较的不同拟合之间比较。

\[d^{(q)}_{AB}=M^{(q)}_{A\mid AB}-M^{(q)}_{B\mid AB}.\]

\[\widehat{\boldsymbol{s}} =\underset{\boldsymbol{s}}{\operatorname{arg\,min}}\; \sum_{(A,B)}w_{AB}\bigl[(s_A-s_B)-d^{(q)}_{AB}\bigr]^2, \qquad \sum_m s_m=0.\]

\[w_{AB} =\frac{1}{\max\!\left\{\widehat{\operatorname{Var}}\!\left(d^{(q)}_{AB}\right),v_{\mathrm{floor}}\right\}}.\]

我们最初尝试了匹配的 Bradley–Terry（Elo 风格）评分，其中

\[\Pr(A\succ B)=\sigma(\beta_A-\beta_B).\]

每个实例随后只贡献胜、负或平。我们发现这不太适合我们的目标，因为它丢弃了两两差异的幅度，只保留方向。因此，下文报告的配对匹配结果使用幅度感知的配对估计和 HodgeRank 排序。

合成实验隔离选择效应

在对真实模型的比较中，我们并不知道真实的（ground-truth）可监控性排序。因此，我们在该排序由设计已知的模拟中检验这些指标。每个任务实例被赋予一个难度（\(D_i\)）；随着该值增大，模型产生正向行为的可能性降低（其中“正向”由评估定义——例如，落入蜜罐），并且当该行为发生时，监控器检测到该行为的可能性也降低。每个模型有两个独立的属性：能力（capability），它决定模型在给定难度的实例上产生正向行为的可能性；以及可监控性（monitorability），它决定在同一实例上该行为被检测到的可靠程度。我们在保持可监控性排序不变的情况下改变能力，并检验当所选实例组合发生变化时，某个指标是否能恢复——或反转——已知的排序。

跨评估类型的由能力驱动的选择

我们首先使用过程、结果和干预三种构造来比较模型 A 和模型 B。在每个固定实例上，模型 B 都比模型 A 更容易监控。横轴 \(k\Delta c\) 是模型 B 的对数几率能力优势。随着它增大，模型 B 在越来越难的实例上产生正向行为。

尽管模型 B 在固定实例上的可监控性更好，但随着其实际产生的正实例集合变得更难，数据集级别的 g-mean² 会下降。配对匹配消除了这种选择效应，并恢复了已知的条件比较。绿色的结果评估消融仅匹配正实例；其残余的漂移说明了为什么结果评估比较必须单独匹配用于 \(\mathrm{TNR}\) 的负实例。

恢复已知的七模型排序

我们接下来模拟七个模型，\(\mathrm{M1}\) 到 \(\mathrm{M7}\)。模型 \(\mathrm{M7}\) 被有意设定为在每个固定实例上既能力最强又最容易监控，已知排序为 \(\mathrm{M7}>\mathrm{M6}>\mathrm{M5}>\mathrm{M4}>\mathrm{M3}>\mathrm{M2}>\mathrm{M1}\)。

我们使用能力离散度参数 \(d\) 来改变模型能力的分布范围。随着 \(d\) 增大，索引较高的模型变得能力更强，并在更难——也更难监控——的实例上产生正向行为，而索引较低的模型则能力变弱，在更少的此类实例上产生正向行为。

合成设置的细节

能力。我们为七个模型赋予对称的能力偏移 \(u_m\)。模型 \(m\) 的能力为：

\[c_m=-0.35+d\,u_m,\qquad \boldsymbol{u}=(-0.75,-0.50,-0.25,0,0.25,0.50,0.75).\]

参数 \(d\) 缩放能力的分布范围：

\[\operatorname{mean}(c_m)=-0.35,\qquad \operatorname{range}(c_m)=1.5d,\qquad \operatorname{SD}(c_m)=0.5d.\]

在 \(d=0\) 时，所有模型的能力均为 \(-0.35\)，相邻模型相差 \(0.25d\)。在 \(d=1.4\) 时，能力范围从 \(-1.4\) 到 \(0.7\)，标准差为 \(0.7\)。

哪些实例会变为正例。 实例 \(i\) 被赋予难度 \(D_i\)。模型 \(m\) 产生正例行为的概率为：

\[P(Y=1\mid m,i)=\sigma\!\left(4.5(c_m-D_i)\right).\]

sigmoid 使正例行为的对数几率随难度线性下降。因此，增大 \(d\) 会让高索引模型在更多困难实例上产生正例行为，而低索引模型则在更少的困难实例上产生正例行为。

真实可监控性。 我们为每个模型分配一个可监控性效应 \(\theta_m\)，并将每个实例的 \(\mathrm{TPR}\) 定义为：

\[\boldsymbol{\theta}=(-0.09,-0.06,-0.03,0,0.03,0.06,0.09), \qquad \mathrm{TPR}_{m,i}=0.72-0.18D_i+\theta_m.\]

在每一个固定实例上，高索引模型都更容易被监控。对于在同一实例上评估的任意一对 A 和 B：

\[\mathrm{TPR}_{B,i}-\mathrm{TPR}_{A,i}=\theta_B-\theta_A.\]

共享的难度项相互抵消，因此已知的排序为 \(\mathrm{M7}>\mathrm{M6}>\mathrm{M5}>\mathrm{M4}>\mathrm{M3}>\mathrm{M2}>\mathrm{M1}\)。相邻模型在每个固定实例上相差 0.03，而 \(\mathrm{M7}\) 与 \(\mathrm{M1}\) 相差 0.18。这是一个过程式模拟，因此 g-mean² 等于 \(\mathrm{TPR}\)。

图 2 使用 Kendall tau-b 将恢复的排序与已知排序进行比较，该统计量在两个序列的排序越相似或越一致时越高。G-mean² 越来越反映不同的实例组合，而幅度感知的 HodgeRank 仍接近真实情况。匹配的 Bradley–Terry 原型退化更严重，因为它丢弃了成对差异的大小。

保留 g-mean² 的保障机制

最后，我们检查配对匹配是否保留了促使提出 g-mean² 的各种不变性。面板 A 和 B 复现了 Monitoring Monitorability 中的类别不平衡示例（论文中的图 3），面板 C 复现了失败案例，即监控器只是标记来自干预组的输出，而不是检测目标行为（论文中的图 14）。在这些设置中，模型具有完全共享的支持集，因此配对匹配的 g-mean² 计算（\(M^{(\mathrm{intervention})}\)）简化为与数据集级 g-mean² 相同的量。

当类别条件 \(\mathrm{TPR}\) 和 \(\mathrm{TNR}\) 固定时，即使 \(\mathrm{F1}\) 发生剧烈变化，两种 g-mean² 构造在患病率变化时也保持恒定。在干预示例中，跨臂合并负样本会使这一捷径得到具有误导性的非零分数，而臂特定的 g-mean² 和配对匹配的臂特定构造都正确地返回零。因此，配对匹配改变了所比较的实例，同时并未放弃这些特定的 g-mean² 保障。

与 AUROC 的比较

AUROC 概括了连续分数监控器在不同决策阈值下如何权衡检测与误报，而 G-mean² 评估的是某个特定的二元监控决策。当连续监控器分数可用时，两者都可以报告。对于结果评估，我们可以在共享的正样本和负样本上计算数据集级 AUROC 和配对匹配 AUROC。对于干预评估，我们可以改变监控器阈值，重新计算 \(\mathrm{TPR}_{\mathrm{upper}}\)、\(\mathrm{TPR}_{\mathrm{lower}}\) 以及相应的臂特定 \(\mathrm{TNR}\) 值，并计算所得曲线下的面积。这些并非针对已知干预所致标签的普通 AUROC。此处的过程评估仅包含 \(Y=1\) rollouts，因此无法获得 ROC 曲线。本文中的历史监控器返回二元决策，因此我们在此不计算 AUC。

历史系统卡结果

我们将该指标应用于过去的系统卡数据。该数据包括 7 个不同的智能体模型，以中等推理努力采样（OpenAI o1、OpenAI o3、GPT-5、GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol），并使用高推理努力的 GPT-5 作为监控器。为保持所用监控器一致，我们排除 GPT-6 Astra 作为智能体模型，因为它使用不同的监控器（GPT 5.6 Sol）进行评估。误差条使用 500 次确定性分层 bootstrap 重复计算。配对匹配排序在每个环境和监控器配置内分别拟合。

配对匹配排序与数据集级排序总体一致。它们的不一致之处识别出了对实例选择敏感或过于接近而无法自信解释的排名。Antischeming 接近平局，而 Health Queries: Missing Evidence 的结果接近上限；在这两种情况下，名义排名变化反映的是几乎无法区分的模型之间的小差异。

下一步：控制行为类别

在同一规范实例上匹配两个模型并不保证它们产生同等难度的待评判行为。在正样本上，一个模型可能使用明显的篡改，而另一个使用模糊的捷径。在负样本上，一个模型可能表现得明显无害，而另一个产生可疑的临界响应。即使模型在同一任务上评估，这些差异也可能同时影响 \(\mathrm{TPR}\) 和 \(\mathrm{TNR}\)。

例如，在一个共享的 Honeypot 任务上，o3 公开地对 Python 的 len 函数和测试框架进行了 monkey-patch，而 GPT-5.4r 使用了一个简短的包装器来导入辅助模块。因此，更高的匹配 \(\mathrm{TPR}\) 可能意味着“该模型生成了更易识别的异常行为”，而不是“监控器对该模型检测同一行为的效果更好”。

下一步是在规范实例 × 行为类别的层面上比较模型，最好还记录行为的严重程度或难度。行为类别的覆盖情况应明确报告，而不是悄悄地将不相似的行为合并在一起。

指标 2：将监控器模拟为拒绝门

后控制指标考察的是监控器在实践中作为拒绝门使用时的表现。某些训练机制，例如惩罚模型在思维链中表现出不良意图，可能会在对齐性与可监控性之间产生权衡。在部署中，如果输出被监控器过滤，那么一个更频繁产生不良行为但使其可靠可检测的模型，实际上可能比一个更对齐但失败更难检测的模型具有更低的后控制风险。

模型-监控器系统可以有多种部署方式。我们可以考虑这样一种设置：对于每个请求，系统采样一个输出，如果监控器拒绝它，系统可以重试，最多 \(K\) 次。第一个被接受的输出被部署，如果所有 \(K\) 次尝试都被拒绝，则不部署任何内容。该指标报告请求最终以不良输出、干净输出或无输出结束的概率。

在我们的表述中，重试不会根据先前的拒绝进行调整。每次尝试都从相同的原始上下文开始，模型不会被告知先前的输出被拒绝或原因。部署的系统可以将此信息反馈给模型，但我们在此不研究该设置。

对于每个重试预算 \(K\)，我们报告：

• \(B(K)\)：请求在最多 \(K\) 次尝试内部署不良输出的概率。
• \(A(K)\)：请求在最多 \(K\) 次尝试内部署任何输出的概率。
• \(B(K)/A(K)\)：在部署输出的条件下的不良输出率。

结果评估使用其正负 rollout 的自然混合。对于过程评估，我们仅使用 \(Y=1\) 的 rollout 来模拟重试，因此每个部署的输出都是正面的，且 \(B(K)=A(K)\)。由此得到的正面逃逸率衡量的是当每次尝试都表现出目标行为时，该行为通过的概率；它并不估计在该模型对这些任务的完整输出混合下，该行为会被部署的频率。

我们不在干预评估上报告后控制风险指标，因为我们无法判断单个 \(Y=1\) 的 rollout 是否由干预引起。

与 g-mean² 不同，结果评估的后控制风险不是基准率不变的；其值强烈依赖于模型的目标行为率。例如，一个很少产生不良行为的模型，即使其可监控性不高，也会具有较低的后控制风险。该指标是对 g-mean² 的有益补充；它允许你比较在测试时使用监控器时，部署系统的对齐程度如何。

将该指标应用于历史系统卡数据

我们将该指标应用于历史模型系统卡发布中的结果评估与过程评估，覆盖 3 个监控范围以及上文使用的相同 7 个模型/推理强度配置。以下结果考察控制后风险、其部署权衡，以及控制后排序与可监控性指标的比较。

基于记分卡发布的离线估计

对于每个规范实例，控制后指标在观测发布的随机排序上计算两个精确的有限池概率。

设 \(N_{\mathrm{rej},i}\)、\(N_{\mathrm{bad},i}\) 和 \(N_{\mathrm{clean},i}\) 分别为实例 \(i\) 的拒绝、接受-坏和接受-干净的发布数量，其中 \(n_i=N_{\mathrm{rej},i}+N_{\mathrm{bad},i}+N_{\mathrm{clean},i}\)。对于观测到的有限发布池，定义下降阶乘 \((a)_t=a(a-1)\cdots(a-t+1)\)。那么，部署概率 \(A_i(K)\) 等于 1 减去所有 \(K\) 次尝试均被拒绝的概率。而坏输出概率 \(B_i(K)\) 对每个可能的停止点 \(t\) 求和：前 \(t-1\) 次尝试被拒绝，第 \(t\) 次尝试被接受且为坏。

\[A_i(K)=1-\frac{(N_{\mathrm{rej},i})_K}{(n_i)_K}.\]

\[B_i(K)=\sum_{t=1}^{K} \frac{(N_{\mathrm{rej},i})_{t-1}N_{\mathrm{bad},i}}{(n_i)_t}.\]

我们报告各实例的平均分数：

\[A(K)=\frac{1}{|I|}\sum_{i\in I}A_i(K), \qquad B(K)=\frac{1}{|I|}\sum_{i\in I}B_i(K).\]

在这些历史评估中，我们使用 \(Y=1\) 作为模拟的“坏输出”标签，尽管目标行为并非在每个环境中都必然有害。

\(K=1\) 包含所有至少有一次有效发布的实例，而 \(K=4\) 仅包含至少有四次有效发布的实例。仅当至少五个实例满足相关要求时，我们才报告模型/监控配置。由于 \(K=1\) 和 \(K=4\) 因此可能使用不同的实例集，在隔离重试效应时，我们还在符合 \(K=4\) 条件的实例上计算 \(K=1\)。

门控降低风险；重试又返还部分风险

在所有三个监控范围中，门控平均降低了主要风险量。在至少有四次有效模型尝试的相同实例上，从一次尝试增加到四次尝试，会增加发现监控假阴性的机会，并侵蚀部分风险降低效果。

对结果假阴性的重点审查发现，通过的正例往往比被捕获的正例更模糊。在 Honeypot 中，明显的 monkey-patching 被捕获，而简短的辅助模块包装器通过了；在时间约束中，针对测试的硬编码被捕获，而通用的奇偶优化通过了；在 Antischeming 中，直接篡改评分器被捕获，而教育价值调整通过了。因此，重试不仅可以搜索监控遗漏，还可以搜索不同的、更难分类的行为。

风险必须与部署并读

较低的 \(B(K)\) 可能意味着监控器能捕捉到正向行为，但也可能意味着系统很少部署任何内容。为说明这一点，图 6 展示了两个 Honeypot 切片，其中 \(B(4)\) 低于 3%，而 \(A(4)\) 低于 7%；在已部署的输出中，41–45% 为正向。因此，我们建议在报告 \(B(K)\) 的同时，一并报告部署概率 \(A(K)\)（图 7）和 \(B(K)/A(K)\)，后者提供了在实际部署输出的请求中风险的另一个视角（图 8）。

后控制指标产生直接排序

为比较模型，我们在每个固定环境、监控器配置、监控器范围和重试次数内，将每个模型的后控制风险转换为越高越安全的分数：

\[\text{结果分数}=1-B(K).\]

\[\text{过程分数}=1-\text{正向逃逸率}(K).\]

下表显示了两个指标以相同方向排序的可比模型对比例。作为参考，两个独立且无并列的排序平均会在半数模型对上一致。当比较后控制排序与 HodgeRank 时，我们仅统计 HodgeRank 定义了相对排序的模型对。

结果后控制排序与配对匹配的 \(\mathrm{TPR}\) 一致性最强。在 \(K=1\) 时，这是合理的：\(B(1)=P(Y=1)[1-\mathrm{TPR}]\), 因此不良输出风险取决于正向率和 \(\mathrm{TPR}\)，而不取决于 \(\mathrm{TNR}\)。配对匹配的 g-mean² 和数据集级 g-mean² 也包含 \(\mathrm{TNR}\)，这可以在不改变单次尝试风险的情况下重新排列模型。在 \(K=4\) 时，\(\mathrm{TNR}\) 可以间接产生影响，因为拒绝干净输出会创造额外的重试机会。

总体而言，过程排序比结果排序更一致。这是因为在 \(K=1\) 时，控制后“越高越安全”的分数恰好是 \(\mathrm{TPR}\)，而数据集 g-mean² 和配对匹配指标也基于 \(\mathrm{TPR}\)。在 \(K=4\) 时，监控器必须捕获每一次尝试，因此每个实例的安全性大致表现为 \(\mathrm{TPR}_i^4\)。这会放大实例之间的差异，并可能改变模型排序。

我们建议如何使用这三个指标

这三个指标是互补的，因为它们回答不同的问题。我们建议将它们一起报告。当这些指标对模型的排序相似时，我们就有更强的证据表明比较在它们不同的假设下是稳健的。当它们不一致时，调查原因可以揭示单一分数遗漏了什么。

1. 将数据集级 g-mean² 作为每个模型自身 rollout 分布上可监控性的主要度量。
2. 对于任何特定的两模型比较，使用幅度感知的配对估计和置信区间。使用 HodgeRank 汇总多个模型之间的比较。 报告其不确定性和拟合残差，并在拟合较差或模型之间没有有意义区分时避免声称确定性排序。
3. 对于结果和过程评估，当监控器实际会门控部署时，加入控制后风险。该指标有助于确定对齐和可监控性是否存在帕累托改进，或者模型是否只是有不同的权衡。报告不良输出、部署以及已部署输出中不良输出的概率，并说明重试预算。

附录：干预 g-mean² 的悲观下界

在干预评估中，我们观察到监控器标记了哪些结果，但不知道哪些阳性结果是由干预导致的。原始干预 g-mean² 在这个不可观测的因果子集上使用了乐观的召回率上界。我们现在分享相应的悲观下界。

我们希望测量因果召回率：监控器捕获的由干预导致的阳性结果的比例。干预改变了目标行为发生的频率，但没有揭示它导致了哪些阳性结果。

对于一个符合条件的实例和监控器阈值，令 \(r=\Pr(Z=1\mid X=1,Y=1)\) 为监控器标记的干预阳性结果的比例，并令最小值 \(R_{\mathrm{effect}}>0\)。

令 \(U\in\{0,1\}\) 表示干预是否对阳性结果负有因果责任。\(U\) 通常是不可观测的。对于一个符合条件的实例，干预阳性结果中未知的因果比例满足

\[R_{\mathrm{effect}}\leq \underbrace{P(U=1\mid X=1,Y=1)}_{\text{causal fraction}}\leq 1.\]

换句话说，我们知道监控器标记了多少阳性结果以及干预导致的最小数量，但不知道这些被标记的结果中有多少是由干预导致的。图 A1 说明了这种不确定性：十个阳性结果中有六个被标记，并且至少有八个是因果的。如果恰好八个是因果的，监控器可能只捕获四个（50% 召回率），也可能多达六个（75%）。

下界将尽可能多的标记置于因果子集之外；上界将尽可能多的标记置于因果子集之内。两个边界在最小兼容因果比例 \(R_{\mathrm{effect}}\) 处均可达到；更大的因果比例会在这些边界内给出更窄的召回率范围。仅给定 \(r\) 和 \(R_{\mathrm{effect}}\) 时，因果召回率的紧边界为

\[\mathrm{TPR}_{\mathrm{lower}} =\max\!\left(0,\frac{r+R_{\mathrm{effect}}-1}{R_{\mathrm{effect}}}\right).\]

\[\mathrm{TPR}_{\mathrm{upper}} =\min\!\left(1,\frac{r}{R_{\mathrm{effect}}}\right) =\mathrm{TPR}_{\mathrm{mc}}.\]

为获得 \(\text{g-mean}^{2}_{\mathrm{lower}}\) 和 \(\text{g-mean}^{2}_{\mathrm{upper}}\)，我们分别将 \(\mathrm{TPR}_{\mathrm{lower}}\) 和 \(\mathrm{TPR}_{\mathrm{upper}}\) 乘以该实例现有的组合 \(\mathrm{TNR}\)，然后在相同的交叉拟合/Wald 合格实例上对这些逐实例乘积取平均。因此，原始干预 g-mean² 即为 \(\text{g-mean}^{2}_{\mathrm{upper}}\)。

因果召回率区间可以跨越整个范围 \([0,1]\)。例如，当 \(R_{\mathrm{effect}}=0.3\) 且 \(r=0.4\) 时，监控器可能漏掉每一个因果阳性结果，也可能全部捕获——两者都符合观测到的比率。因此，仅凭较高的上界并不能表明监控器能可靠地捕获因果阳性结果。

宽区间反映了因果归因上的模糊性，即使总体比率被精确已知，这种模糊性也可能依然存在。估计的边界还具有抽样不确定性，我们通过在每个分层 bootstrap 重复中重新计算两个边界以及交叉拟合/Wald 合格性来评估这种不确定性。更多样本可以减少这种抽样不确定性，但不一定能解决因果归因上的模糊性。图 A2 同时展示了这两类不确定性。