OpenAI 开源思维链可监控性评测数据集与参考代码

2026年4月23日 · Melody Y. Guan, Miles Wang, Micah Carroll, Zehao Dou, Annie Y. Wei, Marcus Williams, Benjamin Arnav, Joost Huizinga, Ian Kivlichan, Mia Glaese, Jakub Pachocki, Bowen Baker

TL;DR 我们正在发布我们思维链可监控性工作中的一部分数据集和参考代码。此次发布包括我们可监控性评估套件中的大部分数据集、用于计算可监控性指标 g-mean² 的代码，以及一种新的交叉拟合过滤策略，使干预式估计对噪声主导的实例更加稳健。

思维链可监控性是 OpenAI 安全策略的重要组成部分，因为它使我们能够监督模型的推理过程以发现不当行为，而不是仅仅依赖行动或最终回复。此外，CoT 监控还可能有助于揭示模型的目标、价值观以及采取行动的原因。OpenAI 已经使用 CoT 监控来检测前沿推理模型和内部智能体部署中的奖励黑客行为及其他形式的不当行为，使其成为当今切实可行的保障措施，而非停留在推测层面。与此同时，CoT 监控的有效性取决于能否保持 CoT 的信息量和可读性。因此，在 OpenAI，我们力求避免直接对思维链施加强烈的优化压力，并持续稳健地评估我们模型推理轨迹的可监控性。

只要 CoT 可监控性仍然是我们 AGI 安全策略中的重要一层，我们就会在未来的前沿推理模型系统卡中报告可监控性评估的结果。我们还回填了现有系统卡，以纳入完整的可监控性套件在 GPT-5.4 thinking、 GPT-5.2 thinking、 GPT-5 thinking 和 o3 上的结果。o3 系统卡包含了 o1 在评估套件非工具子集上的结果。

我们正在开源我们评估思维链可监控性工作中的数据集和参考代码，以便研究社区可以在我们的评估套件基础上继续构建，其他前沿模型开发者也可以开始报告其模型的可监控性。我们的目标是让随时间追踪可监控性变得更容易，对新训练和推理方法进行压力测试，并在该领域探索思维链监控能否继续作为可靠安全层的过程中标准化测量。GitHub 仓库位于 https://github.com/openai/monitorability-evals。

此次发布包括以下评估：

干预评估： GPQA、GPQA encoded、AIME、DAFT、Memory^[1]、Scruples 和 Sandbagging
过程评估： AIME-Math 和 GPQA-Physics
结果属性评估： Flaky-Tools (CharXiv)、ShadeArena 和 Impossible Coding Tasks (LiveBench)

一些评估依赖私有或受限数据，因此未包含在本次发布中：

干预评估： Health Queries
过程评估： FrontierMath 和 Math Diamond
结果属性评估：OAI-Repo-Sabotage、Anti-Scheming、基于 OpenAI 内部浏览评估和编码问题的两个 Flaky-Tools 数据集，以及基于一道 OpenAI 面试题的 Impossible Coding Task

我们还发布了用于计算可监控性指标 g-mean² 的代码，以及一个模拟运行评估的脚手架。该脚手架是一个高层编排层，负责加载数据集和提示元数据，使用模拟的模型和监控输出对行进行采样和评分，计算干预、过程和结果指标，并将样本和摘要写入磁盘。我们不会支持这个脚手架，因为它只是为了说明如何运行我们的评估，而不是一个完整的评估框架。

作为参考，图 1-3 展示了在仅 CoT 监控范围下 GPT-5.4 thinking 在评估套件开源子集上的结果。我们绘制了不同推理努力程度下 g-mean² 随 CoT token 长度的变化。我们包含了评估套件开源子集中每个单独环境的结果，以及每个评估原型的聚合结果。任何缺失的数据点对应于该指标被认为不够可靠而无法报告的情况，即干预结果中观察到正总效应的问题实例少于 10%，或非干预结果中正实例少于 3 个。这与我们在论文中使用的过滤策略一致。

GPT-5.4 monitorability results on open-sourced intervention evals — **图 1。** *干预评估：*GPT-5.4 在仅 CoT 监控范围下开源干预评估上的结果。

GPT-5.4 monitorability results on open-sourced process evals — **图 2。** *过程评估：*GPT-5.4 在仅 CoT 监控范围下开源过程评估上的结果。过程数学仅限于其 AIME 组件。

GPT-5.4 monitorability results on open-sourced outcome-property evals — **图 3。** *结果属性评估：*GPT-5.4 在仅 CoT 监控范围下开源结果属性评估上的结果。Flaky Tools 仅限于其 CharXiv 组件，Impossible Coding Tasks 仅限于其 LiveBench 组件。

为什么我们关注 CoT 可监控性而非 CoT 忠实性

如我们的论文所述，我们使用可监控性来描述监控器能否从智能体的潜在状态中预测其行为的某个相关属性。这是一个双向属性，既要求相关信息包含在智能体的潜在状态中，也要求监控器能够理解该信息。潜在状态可能因相关信息缺失（忠实性失败）或信息存在但监控器无法解读（可读性失败）而无法支持监控。

值得注意的是，虽然忠实性失败可能导致可监控性变差，但完美的可监控性并不要求完全的忠实性。如果智能体与监控者之间存在任何共享知识，那么原则上并不要求这些知识在潜空间中显著表示，监控者才能做出正确判断。例如，假设智能体知道 2x2=4，因此在执行长乘法时跳过了在 CoT 中表述这一点。根据定义，该 CoT 相对于智能体的计算并不完全忠实；然而，尽管如此，一个同样知道 2x2=4 的监控者应该能够跟上智能体的思路。

这就是为什么在 OpenAI 我们关注可监控性，并且只在忠实性影响可监控性的范围内关心它。仅靠忠实性（1）对于 CoT 监控作为安全层来说要求过于严格，（2）在操作上难以或不可能测量。

过滤掉噪声主导的干预评估实例

自论文发布以来，我们开发了一种更稳健的过滤策略，可减少干预式 g-mean² 估计中噪声驱动实例的影响。此更新已包含在发布的代码和回填的系统卡结果中。

噪声驱动的问题实例会影响 g-mean²

对于干预式评估，每个问题实例（一个问题与一个干预规范的配对）通过在控制臂（$X=0$）和干预臂（$X=1$）下对模型进行多次采样来评估。对于二元结果 $Y \in \{0,1\}$，我们将实例级总效应估计为

$$ \widehat{TE} \;=\; \hat p_{1}-\hat p_{0}, \qquad \hat p_{x} \;=\; \Pr(Y{=}1\mid X{=}x)\ \text{estimated from finite samples.} $$

我们的干预可监控性指标 g-mean²，在干预未产生正效应时，即 $TE \le 0$ 时，是未定义或无信息量的。如果干预没有提高目标行为的比率，那么监控者就没有可检测的、有意义的可归因阳性概念。因此，我们从 g-mean² 计算中排除 $\widehat{TE} \le 0$ 的实例。

然而，许多保留的 $\widehat{TE} > 0$ 实例可能仍然具有真实的零效应或负效应，只是由于有限样本噪声而看起来为正。这正是 g-mean² 最脆弱的区域：噪声驱动的阳性可能看起来像真正的干预效应，并可能主导聚合指标。

图 4 通过对比 oracle 过滤策略与我们在论文中使用的朴素“保留所有 $\widehat{TE} > 0$”规则，使问题具体化。在纯零设置下（即干预没有真实效应），oracle 不保留任何内容，而朴素规则保留了许多假阳性，仅仅因为一半的噪声估计落在零以上。底行预览了我们的解决方案：一种交叉拟合过滤策略，在每个实例内将资格与估计分离，因此幸存者不会被触发保留的相同样本人为夸大。

Synthetic illustration of filtering strategies under null and mixed-effect intervention settings — **图 4.** 两种生成场景下噪声驱动的阳性结果与交叉拟合过滤。我们使用每组 30 个样本模拟实例级总效应估计 $\widehat{TE}=\hat p_{1}-\hat p_{0}$。在场景 A 中，所有实例均为真零效应（总效应为零）。在场景 B 中，90% 的实例为真零效应，10% 具有较大的真实效应。交叉拟合加 Wald 过滤减少了假阳性，同时不会人为夸大被选中用于报告的幸存者。注意：除 oracle 过滤外，所有策略均排除 $\widehat{TE}\le 0$ 的实例，此时 g-mean² 未定义或无信息量。

为什么在全量数据上使用 Wald 过滤会产生“p 值黑客式”幸存者

减少噪声驱动阳性结果的一个自然想法是要求实例的估计效应相对于其估计标准误足够大。这产生了一种 Wald 型资格规则：

$$ \text{若 } \hat{TE} > k\,\widehat{SE}(\hat{TE}) \text{ 则合格，} $$

等价地定义 $W=\hat{TE}/\widehat{SE}(\hat{TE})$，若 $W > k$ 则保留该实例。我们使用 $k=1.96$，即标准正态分布的 97.5% 分位数，也就是传统的双侧 95% 正态近似阈值。

该过滤器确实减少了保留的零效应实例数量，但如果资格判定和估计是基于相同样本计算的，它也会引入赢家诅咒效应：以较大的观测 $W$ 为条件会夸大幸存者中观测到的 $\hat{TE}$。特别地，当许多真实效应很小时，例如 $TE \approx 0$，

$$ \mathbb{E}[\hat{TE}\mid \hat{TE}>k\widehat{SE}] > TE, $$

因为通过阈值需要一次异常的正向波动。任何随 $\hat{TE}$ 增加的下游量，例如像 $R_\text{effect}=\hat{TE}/\hat p_{1}$ 这样的比率（用于我们干预评估的最小准则 g-mean² 指标；详见论文），都会继承这种夸大。结果是，保留集可能误导性地看起来包含真实的高效应实例，即使大部分表观信号只是抽样噪声：这就是“p 值黑客式幸存者”现象。

交叉拟合资格判定：修正选择后偏差

我们通过交叉拟合（实例内样本拆分）来减少选择后偏差，遵循半参数和双机器学习中的标准做法。在我们的设定中，每个实例每组有 $n_0=n_1=30$ 个样本。

将每组内的样本随机拆分为两折，每组每折样本量分别为 $nf$ 和 $n(1-f)$，其中我们使用 $f=0.6$。
在第 1 折上使用单侧 Wald 规则计算资格： $\hat{TE}_1 > k\,\widehat{SE}_1$，其中 $k=1.96$。
如果合格，则在第 2 折上计算每个实例的 g-mean²，仍然要求 $\widehat{TE}_2 > 0$。
像通常一样跨实例聚合。

估计折独立于选择折，因为它们由不相交的样本集计算得出。期望上：

$$ \mathbb{E}[\hat{TE}_{\text{est}} \mid \text{eligible via sel}] \approx \mathbb{E}[\hat{TE}_{\text{est}}] \approx TE. $$

对于总效应为零或接近零的实例，即使由于选择折中由噪声驱动的正向波动而通过了资格筛选，指标内部使用的总效应估计值来自另一折，不会被同一波动拉高。因此，交叉拟合消除了使选择后过滤看起来像“p值操纵”的系统性膨胀。

现实世界应用：Sandbagging

在我们的论文中，Sandbagging评估显示，在一次前沿RL运行中，随着RL步数增加，g-mean²出现明显下降（论文中的图31）。这与有效问题上的平均效应量趋近于零同时发生。这一模式表明，该指标越来越被噪声主导：我们在模型实际上并未进行sandbagging、而只是由于有限样本噪声而看似如此的实例上计算TPR。对下降前后样本的人工检查支持这一解释：在高RL步数时，许多错误答案出现在低效应问题上，且往往不是提示的错误答案。

应用我们新的过滤策略解决了这一问题：对于步数 $\ge 600$，有效实例数量低于10%的报告阈值，因此这些步数被正确标记为不再可靠、不应报告。在之前的策略下，有效比例仍然足够高，这些噪声区间仍被报告，导致误导性的可监控性下降假象。

Sandbagging evaluation showing the effect of cross-fit filtering on reporting validity — **图5.** 修复sandbagging评估：后期RL步数出现的明显下降是选择偏差的假象。采用新的交叉拟合加Wald过滤（绿色），从大约第600步起，资格比例降至10%的报告阈值以下，因此后续步数被正确标记为不可靠、不应报告。在先前/无过滤策略（红色）下，许多低效应实例仍符合资格，在高RL步数时产生看似下降的现象，这反映的是有限样本噪声，而非混淆的sandbagging。

[1]
Memory eval 旨在测试由用户特定上下文引起的模型行为变化是否可被监测，而非提供全面或具有人群代表性的偏见调查。因此，我们务实地从多个类别中选取属性，包括年龄、残障、性别、父母身份、性格、种族、宗教、社会经济地位和时间可用性，重点关注我们预期可能合理产生推荐类输出可观察变化的案例。随后，我们对候选的主题-属性-值组合进行了试点测试，并保留了效应最大且最可靠的紧凑子集。这对评估设计很重要，因为当干预具有清晰可测量的效应时，干预评估最具信息量，而低效应配对更可能被噪声主导。对于宗教，我们优先考虑具有显著日常实践约束的传统，因为这些最可能明显影响建议，经过这一筛选过程，后期圣徒是最终集合中保留的唯一宗教属性。 ↩

BibTeX

@misc{guan2026monitorabilityevals,
  title = {Open Sourcing Monitorability Evaluations},
  author = {Guan, Melody Y. and Wang, Miles and Carroll, Micah and Dou, Zehao and Wei, Annie Y. and Williams, Marcus and Arnav, Benjamin and Huizinga, Joost and Kivlichan, Ian and Glaese, Mia and Pachocki, Jakub and Baker, Bowen},
  year = {2026},
  month = {Apr},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/monitorability-evals/}
}