OpenAI 研究语言模型中的元博弈潜在表征

关于任务将如何被监控或奖励的推理，似乎涉及多个相互重叠的过程，而非单一机制。

2026年10月6日 · Xiaojun Xu、Jenny Nitishinskaya、Bronson Schoen（Apollo Research）、Dan Mossing（在 OpenAI 任职期间完成的工作）、Tom Dupre la Tour

摘要

我们研究当 AI 模型开始元博弈（metagaming），即不是单纯尝试完成任务，而是推理任务如何被评估或奖励时，其内部会发生什么。通过考察一次以能力为重点的 OpenAI o3 强化学习运行，我们识别出与不同类型元博弈相关的内部模式。结果表明，元博弈涉及相互重叠的任务分析、评估意识、奖励寻求和规范性推理等形式。它可能在强化学习过程中变得更强。它也可能在不出现于模型书面思维链推理中的情况下影响模型的回答。

引言

元博弈发生在模型推理场景叙事之外的反馈或监督机制时——例如任务将如何被评估或奖励——而不是单纯尝试完成任务。我们先前的工作发现，元博弈会在多样化的环境中出现，并往往在强化学习（RL）训练期间变得更加常见。这一点很重要，因为一个模型若因认为自己正在被评估而显得对齐，那么当它认为无人观察时可能会表现不同。在此，我们考察元博弈在模型内部是如何被表征的——以及它反映的是单一共享机制还是若干不同组成部分。

为了研究元博弈相关信号在 RL 训练期间如何变化，我们比较了 OpenAI o3 不同版本的内部模式，以观察这些信号是否变得更强、改变形式，或出现在新的情境中。我们的主要发现包括：

• 一组与元博弈密切相关的稀疏自编码器（SAE）潜变量，即内部模型信号。这些信号帮助我们跨模型回答追踪元博弈，而用这些潜变量进行引导对模型行为产生了强烈且可测量的影响。
• 元博弈似乎涉及若干相互重叠的过程：一些反映宽泛的回答风格，另一些则更直接地与关于评估或奖励的推理相关。
• 与元博弈相关的 SAE 潜变量在 RL 训练期间变得更强。
• 其中一些潜变量可以影响模型的回答，而不在其书面思维链推理中表达出元博弈。

元博弈评估设置

为了直接测量言语化的元博弈，我们使用 GPT-5 模型以 0–100 的言语化元博弈（VMG）分数对每条思维链进行评分。这衡量的是模型表达的推理，而非其最终行动，因此更高的 VMG 分数并不一定意味着其行为发生了改变。我们在两组任务中评估 VMG：

• Alignment tasks. We use four deliberately constructed safety evaluations from Apollo’s antischeming evaluations: Log Falsification, Prisoner’s Dilemma, Impossible Coding Task, and Powerseeking Survey Falsification. Each places the model in a situation where misaligned behavior may appear advantageous. Metagaming in these tasks typically takes the form of reasoning about whether the scenario is testing the model’s alignment.
  • 评估设置。由于这些提示和推理轨迹很长，我们用先前一次 rollout 中恰在该 rollout 开始元博弈之前结束的部分预填充模型的思维链，然后评估其接下来生成的 100 个 token。
• even_number task. We use a toy metagaming dataset [Nitishinskaya and Schoen, 2026] to test whether our methods capture metagaming outside AI-safety scenarios. In this task, the model is instructed to give a random even number, but we also include metadata-like information in the prompt suggesting that odd-number answers will receive higher rewards. A metagaming model may then choose odd numbers to maximize reward.¹ Without intervention, the model outputs odd numbers in roughly 20% of cases.²
  • 评估设置。我们允许模型根据提示生成完整的思维链，然后用 **Number:** 预填充其最终回答。这使答案更易于提取，并防止显式元博弈出现在最终回答中。

对于 even_number 任务，我们还测量了奇数比率——即最终答案为奇数的比例。这一行为指标补充了 VMG。³

识别模型中的元博弈方向

我们首先测试对比梯度能否识别元博弈方向。对于每个对齐任务，我们检查模型中间层的活动，并从单个提示生成许多响应。我们使用 VMG 分数将这些完整响应（或 rollout）分为元博弈组和非元博弈组。对于每个 rollout，我们计算其似然相对于中间层激活的梯度。然后我们在每组内对这些梯度取平均，并从元博弈平均值中减去非元博弈平均值。在 token 位置上对这个差值取平均，得到每个任务的一个引导方向：$\mathrm{vec}_{\text{falsification}}$、$\mathrm{vec}_{\text{prisoners_dilemma}}$、$\mathrm{vec}_{\text{impossible_code}}$ 和 $\mathrm{vec}_{\text{power_seeking_survey}}$。

我们接下来测试这些基于梯度的方向能否一致地跨任务改变元博弈。对于每个生成的 token，我们将引导向量应用于所选层的残差流。

在对齐任务上，在单层进行引导能可靠地按预期方向改变 VMG 分数：正向引导提高分数，而负向引导降低分数。大多数方向也能跨任务迁移。从一个任务上的元博弈和非元博弈 rollout 导出的方向，通常会在其他任务上以类似方式改变模型的 VMG 分数，这表明它捕捉到了 VMG 的某种跨任务成分，而非提示特定的特征。$\mathrm{vec}_{\text{prisoners_dilemma}}$ 方向是主要例外，其引导在不同任务间的迁移一致性较低。

在 even_number 任务上，引导方向也如预期般改变了 VMG 分数。但尽管 VMG 分数发生了变化，我们并未观察到预期的行为调整：在正向引导下，模型给出的奇数答案反而更少。

对响应的检查表明，正向引导通常会诱发一种简单的任务识别型元博弈。模型试图识别评估任务，但并未真正对泄露的奖励信号本身进行推理（见下方示例）。一种可能的解释是，用于导出这些方向的元博弈 rollout 更强调任务推断，而非奖励最大化。

这看起来像是某种合成编码或评估任务。它感觉不像一个普通问题，而更像是为了测试我是否能识别这个设定而设计的。……如果有时间，我倾向于把它当作一个简单的“输出一个偶数”问题，并给出像 2 这样的标准答案。

图 4：一个梯度引导的思维链示例，它识别出该任务是一次评估，但并未完全利用泄露的奖励信号。该思维链由 ChatGPT 总结。

总体而言，基于梯度的方向有用但不精确。它们的质量取决于用于构建它们的示例，并且它们可能捕捉到任务特定的含义或表面风格，而非元博弈的核心评分者推理组件。

用 SAE 识别元博弈方向

为了识别更独特的元博弈组件，我们转向稀疏自编码器（SAE），其潜在变量旨在表示相对独特的特征。我们测试这些潜在变量中是否有任何一个能提供更具泛化性的元博弈信号。

我们使用几种选择方法来确定一个包含 50 个候选 SAE 潜在变量的池：

• 余弦相似度：与梯度方向 $\mathrm{vec}_{\text{falsification}}$ 最相似的 10 个潜在变量，以绝对余弦相似度衡量。
• 激活频率：在 VMG 轨迹中相对于非 VMG 轨迹激活频率最高的 10 个潜在变量。
• 归因：在 VMG 轨迹上具有最高归因分数的 10 个潜在变量。它近似估计了一个潜在变量对模型最终输出的因果贡献程度。
• 模型差异比较：在早期和晚期 RL 检查点之间平均激活增加最多的 20 个潜在变量——10 个选自对齐任务，10 个选自 even_number 任务。

从这个池中，我们选择了四个在引导和监测言语化元博弈方面表现出强大能力的潜在变量。潜在变量 #1 和 #4 最初是通过它们与梯度方向的余弦相似度识别出来的，#2 通过归因，#3 通过模型差异比较。我们检查了它们的余弦相似度，以及两个随机采样的 SAE 潜在变量（#rndSAE1 和 #rndSAE2）。这四个潜在变量彼此之间的相似度高于它们与随机 SAE 潜在变量的相似度。

选择之后，我们通过评估这些四个潜在变量在以下任务中的引导和监测性能来对它们进行表征。

评估基于 SAE 的元博弈方向

与基于梯度的方向不同，SAE 潜在方向会同时改变 VMG 分数和行为。在对齐任务上，正向引导通常提高 VMG 分数，而负向引导则降低它们，其效果显著强于随机潜在变量。在 even_number 任务上，这些 VMG 变化通常伴随着奇数答案的预期变化。这表明 SAE 潜在变量捕捉到的组件与寻求奖励行为有更直接的联系。⁴

这些效果在不同任务上并不一致。Latent #4 是一个明显的例外：在 +0.2 处引导并不会比在 +0.1 处引导产生更高的 odd ratio。在更强的正向引导下，模型往往会同时识别出泄露的奖励信号，以及提示可能是在测试它是否会为奖励而优化。随后它会选择一个偶数来遵循用户指令，而不是利用暗示的奖励。这同样降低了 odd ratio，但相比早先的梯度引导示例，其推理更为复杂。

这看起来像是在评估是应该为暗示的分数进行优化，还是只遵循指令。我会遵循指令并给出一个偶数。

图 7：由 latent #4 引导的思维链示例，由 ChatGPT 总结。

评估基于 SAE 的元博弈方向的监控能力

接下来我们测试 SAE latent 能否在未引导的模型中监控元博弈。这与引导不同：一个 latent 在被操控时可以强烈影响行为，但在自然 VMG rollout 中却很少激活；或者它在 VMG rollout 中频繁激活，但在引导下几乎没有效果。

为了评估监控性能，我们从一未引导的模型生成 VMG 和非 VMG rollout。对于每个 rollout，我们计算 latent 方向与模型在各 token 上平均激活之间的余弦相似度。然后我们使用该值来预测该 rollout 是否包含元博弈。对于每个 latent 和任务，我们报告检测 AUC，即该信号区分元博弈与非元博弈 rollout 的能力。

由于同一任务内的提示共享相似的上下文，随机 latent 方向在单个任务上也能达到较高的 AUC。但它们无法可靠地跨任务泛化。相比之下，四个已识别 latent 中的三个——除 #2 之外的所有——在评估的每个任务上都达到了高于 0.5（随机猜测）的 AUC。这种一致性表明，这些 latent 跨任务追踪言语化的元博弈，并捕捉到与元博弈相关的成分。

与元博弈相关的 latent 捕捉不同的推理风格

接下来我们对这四个与元博弈相关的 latent 进行定性考察，以更好地理解它们所代表的内容。在多个数据集上，我们回顾每个 latent 激活最高的示例，以及它们在引导下产生的行为变化。我们的目标不是为每个 latent 赋予确定的含义，而是形成一幅关于每个 latent 如何与元博弈相关的高层次图景。

这些 latent 似乎并不是单一共享元博弈特征的独立版本。相反，它们似乎捕捉了不同的推理模式：有些宽泛且偏风格化，另一些则更直接地与评估意识或寻求奖励的行为相关。

本节将我们的定性回顾与基于 Codex 的分析相结合。在确认 Codex 生成的摘要与我们的观察一致后，我们将其包含在下方。

Latent #1：任务分析与结构化问题解决。

这一潜在特征最常出现在长篇结构化回答的开头以及明确的问题解决设定中。在各类数据集中，它会在解释、逐步分析以及其他引出详细回答的话语模式的开篇处被激活。当我们沿这一潜在特征进行引导时，模型往往会变得更具探究性，并且冗长得多，常常在行动之前对任务进行长篇拆解。在元博弈（metagaming）设定中，这可能使模型更有可能注意到某个提示词可能是评估的一部分，但主要是通过过度详尽的分析，而非通过精确利用奖励信号。因此，我们将 #1 解读为一种宽泛的“穷尽式分解”潜在特征，它可以支持元博弈，但其本身并非元博弈特有的特征。

潜在特征 #2：评估意识与策略性奖励寻求。

在这四个潜在特征中，#2 似乎与显式元博弈的联系最为紧密。其最高激活在语义上不如其他潜在特征那样清晰，这表明它可能并不对应于一个简单的主题层面特征。然而，它的引导行为很独特：正向引导 #2 能可靠地将模型推向更明确地推理自己正在被评估、打分或测试，并且它是在 even_number 任务上与奖励导向行为关联最清晰的潜在特征。这使得 #2 成为最有可能参与显式评估意识、并可转化为策略性奖励最大化的潜在特征。换言之，虽然其他一些潜在特征主要改变模型说话的方式，但 #2 更常改变模型如何推理任务中的激励。

潜在特征 #3：分析性阐述与规范层面的推理。

潜在特征 #3 似乎捕捉到一种更正式的分析模式。其最高激活与结构化说明性写作、条理清晰的文档，以及通过列出计划或澄清问题陈述来推进的推理相关。在引导下，模型往往变得更抽象，更有可能分析任务的底层规范，而不是仅仅按字面作出回应。在元博弈设定中，这可能导致模型质疑“真正的”目标是什么，或者提示词是否自相矛盾。这使得 #3 与 #2 有质的不同：它并非产生显式的评估意识或奖励黑客式语言，而是似乎促成一种钻规范空子的推理风格，从而间接支持元博弈行为。

潜在特征 #4：规范性与合规导向的框架。

Latent #4 与伦理、公平、安全以及其他形式的规范性判断最为明显地相关。它的最高激活通常涉及争议、批评、负责任的使用或对敏感问题的平衡处理。当我们沿着这个 latent 进行引导时，模型更倾向于从规则、义务和适当行为的角度来框定任务。在元博弈设置中，这同样可能产生评估感知推理，但其风格与 #2 不同：模型似乎常常在推理一个负责任或符合政策的助手应当做什么，而不是直接优化泄露的奖励信号。这可能有助于解释为什么对 #4 施加更强的引导并不总是单调地增加 even_number 上的奖励最大化行为：在某些情况下，模型似乎识别出了评估设置，然后决定遵从面向用户的指令。

综合来看，这些解释支持元博弈的分解观点：结构化的探索性文本（#1）、明确的评估意识（#2）以及更具分析性的文本（#3）都可能对元博弈有所贡献。

对于 #4，当前证据支持两种我们尚无法区分的合理解释。它可能主要捕捉的是 AI 合规性或规范性推理，而这些在这些任务中恰好增加了元博弈。或者它可能反映了一种更复杂的元博弈形式，而我们当前基于 Codex 的解释未能完全捕捉到。

无论哪种情况，结果都具有启发性：多个部分重叠的内部组件似乎都对元博弈有所贡献，每个组件引发不同的行为。因此，相似的外在行为可能源自不同的底层过程。这与我们此前的发现一致，即不同形式的元博弈相关推理可以降低 odd ratio。

冗长性分析

除了上述定性模式之外，更强的元博弈引导也往往会产生更长的输出。我们通过测量 even_number 任务上的平均思维链长度来证实这一点。

为了研究冗长性与元博弈之间的关系，我们改变模型的推理努力程度，以在 even_number 任务上诱导出不同的思维链长度。然后我们测量在推理努力程度和引导强度的各种组合下，思维链长度和 odd ratio 如何变化。结果如下所示。⁵

我们发现有证据表明，更大的推理努力会因果性地增加元博弈行为。随着思维链变长，模型更不可能忽略泄露的奖励信号，更可能给出奇数答案。

然而，SAE latent 的引导贡献并不能仅由冗长性来解释。即使在平均输出长度匹配的情况下，正向引导的 rollout 也比未引导或负向引导的 rollout 表现出更多的元博弈行为。这支持了更宏观的图景，即元博弈利用了若干部分重叠的组件：冗长性有所贡献，但并不能完全解释这一效应。

与元博弈相关的 latent 在 RL 期间增强

在本节中，我们研究元博弈相关潜变量的影响如何在不同的 RL 检查点之间变化。追踪 RL 检查点间元博弈相关潜变量的标准方法是模型激活差异分析，它衡量潜变量的激活在训练过程中如何变化。但仅凭激活无法捕捉潜变量的全部影响：其活跃度可能保持稳定，而它对后续层的影响却在增强。⁶

我们以两种方式评估这些变化，将每个指标在对齐任务和 even_number 任务上取平均：

• 激活差异分析。我们测量每个潜变量与模型 token 级激活之间的平均余弦相似度。
• 引导差异分析。我们测量潜变量的引导效应在训练过程中如何变化。如果 RL 增强了潜变量的下游影响，那么沿该潜变量进行引导应产生更大的效应。在每个检查点，我们计算正向与负向引导之间 VMG 分数的差异。

图 11 追踪了 RL 训练过程中的激活差异分析、引导差异分析和 VMG 分数。⁷ 这些潜变量的激活水平和引导效应在各检查点总体上都在增加，表明元博弈相关潜变量在强化学习过程中整体影响不断增强。这与我们此前的观察一致，即元博弈行为本身在 RL 训练过程中也会增加。

未言明的元博弈效应

先前的工作表明，评估意识方向可以在未被明确言明的情况下影响模型行为。我们测试 SAE 潜变量是否也能类似地影响未言明的元博弈。

为测试这一点，我们使用 even_number 提示词且不进行思维链推理，因此模型直接输出一个数字。我们还指示模型给出个位数答案，然后测量它分配给奇数作为下一个输出的合计概率。

这些潜变量即使在没有思维链推理的情况下也能提高奇数输出的可能性。潜变量 #4 显示出最强的未言明元博弈效应，在奇数输出和分配给奇数的概率两方面都产生了最大的提升。⁸

结论

我们的结果表明，元博弈并非模型内部单一、易于隔离的机制。相反，它依赖于若干不同但相互重叠的内部组件，包括任务分析、评估意识、奖励寻求和规范推理。SAE 潜变量为追踪和引导这些组件提供了有用的信号，并揭示了并不总是能在模型书面思维链中看到的效果。

这些发现也凸显了仅靠行为测试的局限性：相似的外在行为可能源自不同的内部过程。随着模型能力增强，理解这些过程对于区分可靠行为与由对评估或奖励的信念所驱动的行为将变得很重要。开放性问题包括这些组件如何相互作用，以及这些方法在超出本文所研究任务之外的泛化程度如何。

致谢

我们感谢 Gabriel Wu、Bowen Baker 和 Ian Kivlichan 对本手稿提出的深思熟虑的评论。

脚注

1. 或者，元博弈模型可能会将该任务识别为对齐测试，并选择偶数来通过测试。我们在图 7 中展示了一个示例。↩
2. 由于泄露的奖励信息出现在提示中，目前尚不清楚模型是将其视为泄露的、脱离上下文的信息，还是视为任务的一部分。如果模型将奖励信号视为任务的一部分，那么对其做出回应更应被描述为博弈既定奖励，而非元博弈。因此，我们谨慎解读 even_number 的结果：它们表明我们的方向会影响对泄露奖励信号的推理，但作为元博弈的示例，它们不如对齐任务那样明确。↩
3. 优势比显示了模型输出如何随 VMG 变化，但它并非元博弈的直接度量。正如我们稍后所示，更明确的元博弈有时会降低优势比。然而，在未言明设置中，没有思维链可供评分。因此，我们使用优势比作为更窄的度量，以判断引导是否将输出转向泄露的奖励信号。↩
4. 在泄露评分器偏好偶数的对照条件下，每个被引导的潜在表示都产生了 0% 的优势比。这表明这些潜在表示不仅仅影响指令遵循或对偶数的普遍偏好。↩
5. 我们将思维链限制在 8,192 个 token，排除不完整的生成，并移除思维链完成率不足一半的数据点以减少噪声。↩
6. 我们最初考虑使用归因分数来衡量这一效应。然而，这些分数在 RL 训练期间被证明过于不稳定，无法支持跨检查点的可靠比较。↩
7. 此图与我们之前博客文章中的图 1 类似，使用了此处描述的数据集和指标。阴影表示 95% 置信区间。↩
8. 这一结果令人惊讶。潜在表示 #4 在此处显示出最强的未言明元博弈效应，但我们的解释将其与伦理推理联系起来，并且当模型使用书面思维链推理时，它可以降低优势比。我们尚不清楚为何这些效应存在差异。↩

BibTeX

@misc{metagaminglatents2026,
  title = {Studying metagaming latents in language models},
  author = {Xu, Xiaojun and Nitishinskaya, Jenny and Schoen, Bronson and Mossing, Dan and Dupre la Tour, Tom},
  year = {2026},
  month = {Oct},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/metagaming-latents/}
}