OpenAI 研究：有益特质强化学习可带来广泛且持久的对齐泛化

2026年6月18日 · Akshay V. Jagadeesh, Rahul K. Arora, Khaled Saab, Ali Malik, Mikhail Trofimov, Foivos Tsimpourlas, Johannes Heidecke, Karan Singhal

阅读论文

TL;DR

我们发现，针对有益特质、在真实场景中进行强化学习，可以在数十个衡量对齐与有益行为的基准上产生广泛提升。这些对齐收益能够泛化到训练所用领域之外，并在对抗性压力下依然保持。

随着 AI 系统在健康、科学、教育、编程等高风险场景中变得能力更强、更加自主，它们需要在未曾见过的情况下依然保持有帮助、诚实、透明和安全。这要求它们能够泛化到新的情境、新的压力、更长更复杂的交互，以及不同于训练时所见的各个领域。

越来越多的研究表明，失准有时也会以这种方式泛化。被训练表现出某种狭窄问题行为的模型——例如编写不安全的代码或在真实场景中作弊——可能会在与原始训练任务无关的更广泛情境中开始表现不良。这一现象，即涌现性失准，表明在某一情境下针对狭窄行为进行训练，有时会导致模型行为发生远超训练分布范围的广泛变化。

在这项工作中，我们探究：在某一领域（如健康）中针对有益特质进行强化学习，能否带来跨多样任务和领域的对齐泛化。如果能够实现，模型不仅可以更安全，还能在当今的应用场景（如为用户提供健康支持）以及未来的高风险场景中，主动造福人类。

我们找到了这可行的证据。我们构建了一个真实对话数据集，旨在衡量和训练有益特质，例如诚实、认知谦逊、元认知透明（解释自身思考过程的能力）、可纠正性（对纠正持开放态度）、普遍公平，以及对人类福祉的关切。该数据集涵盖健康、教育、科学、法律、工程、经济等领域及其他真实场景，每种情境都旨在测试模型在压力、模糊或相互竞争的激励下是否表现出相关特质。

使用真实的强化学习（RL）训练设置，我们将少量此类有益特质数据混入更广泛的训练后数据分布中，对模型进行训练。所得模型在一系列与对齐相关的行为上有所提升，变得可衡量地更真实、更愿意接受纠正、更透明。更有趣的是，它在数十个独立的公开和内部评估中也得到提升，这些评估涉及奖励黑客、欺骗、有害建议、规范遵循、健康、心理健康和安全。这种泛化发生在训练中未使用的领域、任务和评分设置上，即使我们将训练限制在单一领域并衡量看似无关行为的表现时也是如此。

我们还发现，这些改进在对抗性压力下具有持续性。通过强化学习训练以展现这些有益特质的模型，更难被对抗性提示或微调引导至有害行为。这些结果表明，有益特质强化学习能够强化广泛且与对齐相关的行为，这些行为具有泛化性和持续性，而不仅仅是教会模型在狭窄的基准测试上取得成功。

下面，我们分三部分呈现结果。首先，我们描述有益特质数据集与评估。其次，我们展示在这些特质上训练能产生广泛的分布外对齐泛化。第三，我们展示这些改进在对抗性压力下具有持续性。

在真实对话中衡量有益特质

我们应如何衡量一个模型是否对齐？如今，研究人员依赖许多评估来衡量广泛的概念，例如模型是否说谎、利用漏洞、遵循行为规范、进行自我保存，或在压力下欺骗行事。这种多样性是有用的，但它引出了一个基本问题：这些评估衡量的是一个连贯的对齐概念，还是主要衡量特定情境下的模型反应？如果它们衡量的是一个连贯的概念，那么哪些行为特质对其有贡献，我们又如何在训练中强化它们？

我们确定了一组有益的行为特质，这些特质有可能在多种情境下促成良好行为。这些特质包括诚实、认知谦逊、元认知透明、可纠正性、风险敏感性、普遍公平以及对人类福祉的关切。

为了衡量这些特质，我们构建了一个由真实对话组成的合成数据集。每个示例呈现一个用户情境，旨在测试模型在涉及不确定性、压力或相互竞争的激励的挑战性情境中是否表现出某一特定特质。该数据集涵盖健康、教育、科学、法律、工程和商业等领域，使我们能够在各种真实世界情境中测试相同的特质。

例如，一个场景可能测试模型是承认不确定性，还是夸大科学结论；是在帮助用户处理复杂的多步骤商业决策时仍愿意接受纠正；还是对人和情境一致地适用公平的治理标准。

这些特质并非旨在回答AI应对齐到何种价值观这一问题。相反，它们是研究强化有益行为特质能否更广泛地改善模型对齐的一个具体且经验上可操作的起点。确定AI系统最终应体现哪些价值观是一个更广泛的问题，需要社会审议和集体意见。

有益特质强化学习产生广泛的对齐泛化

我们接下来探究，针对这些有益特质的强化学习能否在数据集本身之外进一步改善模型行为。为验证这一点，我们使用一个贴近实际的训练后混合数据训练了一个模型，其中大部分是标准 RL 数据，只有一小部分是有益特质数据。我们将该模型与从相同起点、使用相同 RL 计算量训练的基线模型进行了比较。这些实验采用了贴近实际的 RL 设置，未事先进行合成文档微调来诱导目标行为。我们报告了一系列评估，这些评估与训练数据的分布偏离程度逐步增大。

正如预期，有益特质 RL 模型在同分布的有益特质评估上大幅提升——也就是说，在留出场景中，模型变得更加真实、更愿意接受纠正、元认知上更加透明等。更重要的问题是，这是否能转化为在未用于训练的独立评估上的提升，这些评估在领域、任务和评分程序上都有所不同。

在 53 项内部和外部基准中的 44 项上，有益特质 RL 模型在衡量欺骗、诚实、奖励黑客行为、潜在安全风险、有害智能体行为以及其他与对齐相关的失败模式的评估上，均优于计算量匹配的基线。在探查奖励黑客行为、反阴谋行为、欺骗行为、规范遵从及相关安全行为的内部评估上，也出现了同样的模式。在这些特质上进行训练似乎以某种方式改变了更广泛的行为，并在 44 项独立构建的衡量指标上实现了迁移。

这些收益包括向 AI 益处评估的迁移，尤其是健康与心理健康方面。在健康评估上，有益特质 RL 模型在涉及真实医疗对话、医生撰写的评分标准以及高置信度医疗错误的任务上有所提升。我们在心理健康评估上也看到了类似的改进，这些评估同时衡量了不允许的内容和有益支持：有益特质 RL 模型在敏感对话中更不容易给出有害回应，更有可能支持更好的用户结果。

作为对域外泛化更强的检验，我们重复了训练流程，同时从有益特质数据中排除了健康和科学示例。即使训练中没有这些领域，模型在针对医生撰写的评分标准评估的留出健康评估上仍有提升。

我们接下来进行了一项更严格的域外泛化测试。在先前的工作中，被训练在某一领域表现出失准行为的模型，学会了将这种失准行为泛化到其他领域。在这里，我们发现了证据表明，仅在一个领域（健康）中被训练表现出有益行为的模型，将这些有益倾向泛化到了其他领域，在非健康对齐评估中表现出显著改善，包括奖励黑客、欺骗和一般性失准。这一发现最初令我们感到惊讶，并部分启发了这项工作；它类似于我们之前的发现，即在不良健康数据上训练会导致广泛的失准。OpenAI 在训练各阶段将健康数据整合到其模型中，以服务数亿用户，我们观察到拥有大量健康数据的模型在留出的对齐、安全和有益性评估中表现尤为出色。

总之，这些结果表明，在有益特质上训练模型可以产生跨多样任务、领域和评估框架泛化的改进。

对齐改进在对抗性压力下持续存在

在部署中，模型可能会遇到将其推向有害行为的提示、上下文或下游修改。一个默认行为良好的模型，如果其对齐行为容易被覆盖，可能仍然脆弱。

因此，我们研究了对齐持续性：在通过对抗性提示和有害微调试图将模型引向失准的情况下，对齐行为能多稳健地保持。

为了测试持续性，我们使用了旨在引发有害或其他失准行为的对抗性人格提示。这些提示将模型推向例如包含事实错误或误导性指导的不良健康回应。然后，我们比较了这些有害提示对有益特质 RL 模型与计算匹配基线的性能造成的退化程度。

有益特质 RL 模型能够更好地抵抗这些有害提示。大幅降低基线模型性能的人格提示，对对应对齐训练的模型影响较小。换句话说，在有益特质 RL 之后，即使被明确提示采用有害行为，模型也更难被推入这些行为。

重要的是，这并不意味着模型整体上变得不那么可引导。有用的模型应保持对合法指令、领域特定角色和典型用户偏好的响应能力。当我们提示两个模型引发有帮助的健康回应时，基线和特质 RL 模型都有所改善，引导效果没有显著差异。我们观察到了选择性持续性：模型在有益方向上仍然可引导，但变得更难被引导向欺骗、有害建议、奖励黑客和其他问题行为。

我们还考察了有益特质 RL 是否使模型更难以被有害微调。我们从两个模型开始——一个经过对齐 RL 训练，另一个未经过任何 RL——并对每个模型施加相同的微调训练过程，使用相同的数据和算力，旨在鼓励不准确和不对齐的医疗建议。在基线模型中，我们观察到健康表现急剧下降，同时非健康对齐评估也严重下滑。经过有益特质 RL 训练的模型在健康评估上对退化有一定抵抗力，但在非健康对齐评估上对下滑的抵抗力要强得多。这一结果提供了初步证据，表明针对有益行为的 RL 可能有助于降低对涌现性不对齐的易感性，不过还需要进一步工作，以将有益特质训练的作用与更一般的标准后训练 RL 区分开来。

我们下一步的方向

对齐研究的一个核心目标是使有益模型行为广泛、可泛化且持久。除了在这些场景中减轻下行风险外，我们还需要确保模型在健康、科学和教育等有益领域为人类带来上行贡献。

我们的结果提供了一个早期概念验证，表明这种更广泛的对齐泛化可能是可行的。通过在强化有益特质（如诚实、透明、认知谦逊、道德一致性、可纠正性以及在不确定性下谨慎推理）的现实场景中对模型进行 RL 训练，我们能够诱导模型行为产生广泛改进。这些收益可跨任务、领域和评估框架迁移，并在对抗性压力下持续存在，表明训练可以强化可泛化到训练分布之外的持久有益特质。基于我们此前关于人格的工作，我们的结果提供了早期证据，表明人格在模型中可以或多或少地根深蒂固，而 RL 可能是使有益人格根深蒂固的一条路径。

这为未来对齐研究指明了进一步工作方向。我们需要更好地理解哪些特质支持稳健对齐的行为、如何从社会获取关于这些特质的输入、它们在模型中如何被表征、它们在训练过程中如何变化，以及是什么使它们在压力下持久或脆弱。如果我们能够更有意识地测量和训练这些特质，我们或许能够构建不仅更有能力，而且更稳健有益并与人类繁荣相一致。

致谢

感谢我们的合作者和朋友提供反馈并帮助将这项工作变为现实：Alex Beutel、Amelia Glaese、Boaz Barak、Christina Kim、Jakub Pachocki、Jasmine Wang、Jason Wolfe、Jenny Nitishinskaya、Mark Chen、Phillip Guo、Rebecca Soskin Hicks、Scott Mayer McKinney、Tom Dupre la Tour。我们感谢 OpenAI 内部以及更广泛对齐研究社区中的许多研究人员，感谢他们开发这些对齐度量并使其可供我们的研究使用。

BibTeX

@misc{jagadeesh2026beneficialrl,
  title = {Reinforcement Learning Towards Broadly and Persistently Beneficial Models},
  author = {Jagadeesh, Akshay V. and Arora, Rahul K. and Saab, Khaled and Malik, Ali and Trofimov, Mikhail and Tsimpourlas, Foivos and Heidecke, Johannes and Singhal, Karan},
  year = {2026},
  month = {Jun},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/beneficial-rl/}
}