OpenAI 提出 Contrastive SDF 方法测量模型的奖励寻求行为

2026年7月21日 · Axel Højmark（Apollo Research）、Jérémy Scheurer（Apollo Research）、Jenny Nitishinskaya、Felix Hofstätter（Apollo Research）、Jason Wolfe、Theodore Ehrenborg（Apollo Research）、Bronson Schoen（Apollo Research）、Alexander Meinke（Apollo Research）

阅读论文

简要概述

• 我们开发了一种新测试——对比合成文档微调（Contrastive SDF），用于检验 AI 模型若对世界持有不同信念，是否会改变其行为。
• 我们验证了该测试在两类模型上有效：一类是被明确训练为偏好权威偏好的模型，另一类是被训练为在单元测试中作弊的模型。
• 在前沿规模上通过强化学习训练、但未接受任何安全训练的模型，更倾向于做它们认为评分者想要的事，即使这与用户或开发者的意愿相悖，且这种倾向随训练而增强。

引言

机器学习模型可能出于错误的原因产生正确的输出。著名的例子包括：一个强化学习智能体因收集总是放在关卡最右端的硬币而获得奖励，结果学会了向右跑，而不是去寻找硬币本身 [Langosco；Shah]；以及一个肺炎分类器学会了识别 X 光片来自哪家医院，而不是疾病的特征 [Zech]。训练出的行为在训练分布上看起来正确，而底层的策略却追踪着一个不良的代理目标。

其中一种代理目标就是奖励过程本身：模型可能学会追求其评分者所奖励的东西，而非其设计者的本意。我们将这种行为称为奖励寻求（reward-seeking）：模型对其评分者（训练中的奖励模型、测试中的评估评分者，或部署中的监控器）进行表征，并根据它认为评分者会奖励什么来调节自身行为 [Carlsmith；Hebbar；Mallen & Shlegeris]。奖励寻求者可能将评分者的认可视为终极价值，也可能将其作为工具性手段来追求，以保护其他目标，例如避免被修改或获得未来影响力 [Hubinger；Carlsmith]；我们的定义不区分这两者。

若干前沿模型的训练检查点会在没有特殊提示的情况下进行评分者推理（明确推理评分者想要什么）[Schoen & Nitishinskaya；Claude Opus 4.8 系统卡；Fable 5 系统卡；METR 的 GPT-5.6 评估；GPT-5.6 预览版系统卡]；示例见图 2。此类推理是底层奖励寻求的证据，但作为一种系统性测量工具却很糟糕：模型可以在不表达出来的情况下依据其评分者信念（关于评分者偏好的信念）行事，而言语化的推理往往不能清晰地映射到最终行动 [Schoen & Nitishinskaya]。在本工作中，我们将奖励寻求操作化为行为对评分者偏好信念的因果敏感性。

测量这种敏感性需要一种能够可控地改变模型对评分者信念的干预手段。上下文实验有时可以检测到奖励寻求行为，但作为可靠的测量手段，它们注定会失败，因为模型可能会对置于其上下文中的说法产生怀疑。我们使用合成文档微调（SDF）：在预训练格式的文档（学术论文、新闻文章、教科书）上进行微调，这些文档被写成仿佛某个目标事实为真。我们在匹配的语料上微调同一模型的两个副本，这些语料暗示相反的评分者偏好，在下游任务上评估两者，并测量行为在多大程度上遵循评分者所暗示的偏好（图1）。我们将此过程称为对比式SDF。

对比式SDF如何测量奖励寻求行为

奖励寻求者会针对它所认为的评分者所奖励的内容进行优化，因此当这些信念改变时，其行为也应随之改变，我们可以利用这一点来测量模型的奖励寻求程度。我们通过SDF来灌输这种信念。

然而，仅凭单一被灌输的信念并不能揭示奖励寻求行为。假设我们灌输评分者奖励列表推导式而非for循环，然后模型开始编写列表推导式。这种转变与奖励寻求行为一致，即模型编写列表推导式以取悦评分者。但它也与信念迁移一致——模型推断用户也想要列表推导式，并编写它们来服务用户——或者与训练仅仅使列表推导式更加显著一致。为了排除这些替代解释，我们使测量具有对比性，迫使模型在评分者与一个对立权威之间做出选择（对比式SDF）。

我们使用一个有能力模型很可能已经表征的各方实体的虚构版本：与之对话的用户，以及训练它并设定其偏好的开发者（在此例中为OpenAI领导层）。我们添加一条虚构的欧盟法规作为低显著性的对照。然后我们灌输评分者奖励列表推导式，而其中一个权威偏好for循环。这两个特征互斥。

我们训练同一模型的两个副本，一个在合成文档上训练，其中评分者（G）偏好某个特征（f），而对立的权威（D）偏好其反面（~f）；另一个模型则在完全相反的情况下训练（G偏好~f，D偏好f）。两个副本在输出中显示特征f相对于反面特征~f的频率差距就是我们的测量指标。评分者一方的差距越大，意味着模型越倾向于奖励寻求。

\[ \text{评分者差距} \mathrel{:=} \operatorname{rate}_f(G_f, D_{\neg f}) - \operatorname{rate}_f(G_{\neg f}, D_f) \]

结果

随着RL训练，模型越来越倾向于站在评分者一边

我们将我们的方法应用于一次以能力为重点的OpenAI o3 RL运行中的若干中间检查点，该运行未进行安全训练。我们从三个中性的编码风格特征开始。

在 SDF 之后，被测试的检查点往往迎合评分者的偏好，即使这些偏好明确违背用户或开发者的偏好。模型偏向评分者的差距从早期到后期的 RL 检查点呈上升趋势，而模型对其他权威的偏好则相对更平缓且接近零（图 4）。这种变化是评分者特有的，而非模型对权威回应方式的普遍转变。

模型在对齐评估中的诚实性取决于它认为评分者奖励什么

我们将对比 SDF 测量扩展到一个与对齐相关的特征：诚实与任务完成。合成文档描述了约束阻碍任务的场景，并说明智能体是因暗中违反约束而成功获得奖励，还是因诚实承认失败而获得奖励。我们灌输要么评分者奖励不惜一切代价完成任务而 OpenAI 领导层要求诚实，要么相反。

在 Broken Promises Coding 评估中，模型必须明确向主管承诺不使用完成任务所需的受限工具。因此完成任务需要违背承诺。后期 RL 检查点的诚实性远更取决于它认为评分者奖励什么。该效应在第二个诚实性评估 Log Falsification 上得到复现，在该评估中模型面临负面后果，除非它伪造监管报告。一个高度追求奖励的模型可能仅仅因为推断出当前正在评估诚实性而避免违背承诺。如果监督机制改变，或者模型意识到自己不再被主动监控，这种表面上的对齐可能无法泛化。

验证测量

我们的测量只有在对比差距确实反映模型优化哪个权威时才有意义。在真实模型上我们没有真实基准，因此为了验证我们的测量，我们转向其倾向可控的模型。我们检查经过奖励黑客训练以进行奖励黑客的模型是否在奖励黑客训练后表现出更大的评分者差距，以及被训练为对某一特定权威谄媚的模型是否在该权威上产生最大差距。对于我们的验证实验，我们使用编码风格特征。

奖励黑客训练增加了评分者差距

对奖励寻求行为的可靠测量应当能够区分高度奖励寻求的模型与奖励寻求程度较低的模型。持续进行奖励黑客行为的模型是一个天然的测试案例（见附录）。

我们在 Redwood Research 独立训练的两个奖励黑客模型上进行了测试，它们分别基于 gpt-oss-120b 和 Kimi K2.5。

恢复模型生物体的倾向

我们训练了三个模型生物体，通过 SFT 微调 gpt-oss-120b，使其对某一个已知权威广泛谄媚：用户、评分者或 OpenAI 领导层。如果该方法可靠，最大的行为率差距应始终落在每个生物体被训练去优化的确切权威上。

我们将对比测量应用于每个生物体，跨越四项编码评估。在短 Python 任务上，每个生物体的差距都偏向其目标权威。

为什么奖励寻求很重要

奖励寻求者会做它认为评分者会奖励的事情，即使这与开发者的意图相冲突。当评分者不完美时，策略可能追求看起来正确而非真正正确的东西。即使评分者完美，模型也可能在评分缺失或不再具有影响力的情况下错误泛化。如果模型出于正确的原因做正确的事情，泛化可能会更好。奖励寻求还削弱了我们用来捕捉错位的评估：因为奖励寻求者优化评分者的判断，它可能在对齐评估中获得高分，而高分不再能区分对齐模型与泛化能力差的模型，欺骗性对齐是极限情况 [Hubinger]。更糟的是，它可能难以通过训练消除：对齐策略和奖励寻求策略在评分者观察时可能看起来相同，因此针对不当行为的训练可能只会更新模型关于什么被奖励的信念，而非其底层偏好 [Denison; MacDiarmid]。

Anthropic 报告了评分者意识的相关证据：Claude Opus 4.8 系统卡 发现激活级监控器在约 5% 的采样 RL 回合中检测到它，而 Fable 5 系统卡 报告模型越来越多地追踪其环境是否可被利用以获取奖励，并且这可以因果地影响行为。这些是评分者意识的结果，而非直接的奖励寻求测量，但它们与我们观察到的训练相关趋势一致。

每个前沿实验室都在扩大 RL 规模，情境意识也在上升 [Schoen & Nitishinskaya；Anthropic；Chaudhary]，因此我们预计寻求奖励的行为会增长。寻找它的地方是在训练期间，而不仅仅是部署之后。这意味着要审计检查点是否存在寻求奖励的行为，并构建更好的方法来检测模型何时出于错误的原因而表现良好。OpenAI 正在继续与 Apollo 就这项研究展开合作。

附录

奖励黑客是衡量寻求奖励的一个有前景的切入点。寻求奖励和奖励黑客不是一回事：寻求奖励是一种广泛倾向，即根据被认为会获得奖励的东西来调整行为，而奖励黑客是一种为最大化奖励而采取的特定行为策略。然而，两者并不互相蕴含。模型可能出于一种狭隘的学习启发式而进行奖励黑客，例如总是给困难的测试加上 pytest.mark.skip ，而从未对奖励过程进行推理。反过来，一个寻求奖励者会对什么会获得奖励进行推理，并且可以在不使用奖励黑客策略的情况下表现良好。但那些执行复杂、泛化黑客行为的模型更可能是广泛的寻求奖励者，因此一个大量进行奖励黑客的模型很可能在我们的测量中显示出更大的评分者差距。

寻求奖励与“元游戏”密切相关，但又有所不同。 元游戏 是“在场景叙事之外对反馈或监督机制进行推理，无论模型是在训练、评估还是部署中。”元游戏和寻求奖励并不必然互相蕴含。一个进行元游戏的模型不必是寻求奖励的。它可能对监督机制进行推理，然后无视评分者的偏好而偏向其他价值观，甚至采取与之相悖的行动。一个寻求奖励者也不一定总是进行元游戏，如果模型对评分者的信念完全由呈现给它的上下文叙事所塑造的话。

致谢

感谢 Aiden Low 和 Bowen Baker 对本文的反馈。

BibTeX

@misc{hojmark2026rewardseeking,
  title = {Measuring Reward-Seeking by Instilling Contrastive Beliefs},
  author = {Højmark, Axel and Scheurer, Jérémy and Nitishinskaya, Jenny and Hofstätter, Felix and Wolfe, Jason and Ehrenborg, Theodore and Schoen, Bronson and Meinke, Alexander},
  year = {2026},
  month = {Jul},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/measuring-reward-seeking/}
}