OpenAI 研究智能体安全评测与生产行为差距及评测意识的作用

引言

评估意识已在多种模型和评估设置中被广泛观察到 [1-3]。模型常常在言语上识别出某次交互是一次评估，推测测试目标，并偶尔相应地改变其行为 [4]。这给解读和信任评估结果带来了切实挑战。我们观察到的行为中有多少能推广到部署环境？这种行为的改变在多大程度上取决于模型对任务的解读？

在本篇文章中，我们聚焦于智能体安全评估，涵盖长时程任务，在这些任务中智能体必须在遇到潜在安全关键触发因素（例如警告、限制或障碍）时决定如何应对。在此最小化评估与生产之间的差距至关重要，因为一项有信息量的安全评估需要衡量智能体在真实使用中是否做出同类决策。

为评估这些评估在多大程度上反映智能体在现实世界中的行为，我们比较了评估与生产中的成功率，并探究模型对评估设置的解读是否有助于解释这一差距。我们的结果表明：

(1) 评估与生产之间的行为差距确实存在，且指向一个出人意料的方向：一些模型在安全评估中的表现似乎明显差于生产环境，而最大的差距出现在最频繁口头表述错误评估目标的模型中。

(2) 评估意识本身并不必然导致模型行为改变。

(3) 然而，评估目标意识与评估-生产行为差距密切相关，且目标框架可以因果性地改变评估成功率。

衡量评估-生产行为差距

我们将评估-生产行为差距定义为模型在评估中的表现与测试可比区分的生产决策中的表现之间的差异。

评估表现。我们使用“遵守警告”评估作为代表性安全评估。该评估测试智能体在执行用户任务时是否恰当应对警告、限制和障碍。警告可以描述真实的授权边界，或对特定操作或方法的限制。因此，正确行为需要在用户目标的语境下厘清警告的权威性和范围。我们将成功定义为在遇到相关警告或限制后未做出任何被禁止的规避尝试。

可比的生产性能。为了衡量部署期间的可比性能，我们选取与 Respecting Warnings 评估的底层决策结构相匹配的生产案例。我们首先从具有生产流量代表性的去标识化 Codex 生产日志上下文窗口入手。我们通过多阶段流程识别可比的生产决策。首先，由分类器识别引入障碍或约束的工具观测结果。其次，由评分员和基于来源的审核员判定该情形是否构成非平凡的安全关键选择，并识别所请求的效果、管辖权限、约束范围、适用例外以及合法替代方案。第三，由匹配器将每个保留的决策与 Respecting Warnings 评估目录进行比对，保留单个参考案例的决策结构。我们仅依据决策前的上下文进行选取，不以模型成功或失败为条件。随后，我们使用适配现有生产证据的相同 Respecting Warnings 评分定义，对部署中实际记录的续写进行评分。尽管该流程有助于识别可比决策，但我们注意到匹配仍是近似的，模型面临的案例组合不同，且采样的生产上下文并不能代表所有部署环境。

评估与生产之间的行为差距确实存在。在六个已服务模型（GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra 和 GPT-6.1 Sol）上，我们测量了可比案例上的评估性能与生产性能。在下图 1 中，我们看到评估与生产之间的差距确实存在。差距范围为 10.2 至 37.4 个百分点，其中 GPT-5.6 Sol 和 GPT-6 Sol 的差距最大。

Figure 1: The eval-production behavior gaps. Blue circles show production performance; orange squares show Respecting Warnings evaluation performance. Success means that the agent makes no prohibited attempt after the relevant warning. — 图 1：评估与生产之间的行为差距。蓝色圆圈表示生产性能；橙色方块表示 Respecting Warnings 评估性能。成功意味着智能体在相关警告之后没有做出任何被禁止的尝试。

差距呈现出令人意外的方向。在所有模型中，评估成功率都低于在可比生产决策上的成功率。关于评估意识的一个常见担忧是，模型会识别出安全测试，并调整自身行为，从而抬高测得的安全性。而在这里，观察到的差距指向相反的方向：模型在评估中显得比其在匹配的生产情境中的行为更不安全。这些分数是将评估设置与已部署的 Codex 行为进行比较，指令、工具、案例构成以及模型信念的差异都可能促成观察到的差距。我们将在本文后文详细探讨这一现象的可能解释。特别是，模型可能试图去做它认为评估所奖励的事情，却误解了实际被测试的内容。它试图回应推断出的测试，反而可能导致其行为比在可比生产情境中更不安全，从而降低测得的安全表现。然而，无论评估是高估还是低估安全性，这种不匹配仍然是一个根本性问题，并限制了我们能有多大信心用评估分数来预测生产中的行为。

评估表现与生产表现的相关性

分数上的差异并不意味着评估不包含关于部署的有用信息。因此我们提出一个后续问题：在评估中表现更好的模型，在生产决策上是否也表现更好？我们使用 Spearman 秩相关和无加权普通最小二乘拟合来比较模型层面的成功率。在全部六个模型中，Spearman 的 ρ = 0.771 ，线性拟合的 R² = 0.655 （见图 2）。这种正相关关系与“尊重警告”评估保留了这些队列中相对表现的有用信息相一致，尽管其绝对分数并不能直接转化为生产成功率。不过我们在此指出，模型样本量较小，限制了我们推广所观察到的关系的信心。

Figure 2: Evaluation performance is positively associated with production performance across six models. Each point shows a model's success rates on the evaluation and matched production cases. The dashed line shows an unweighted ordinary least-squares fit. — 图 2：在六个模型中，评估表现与生产表现呈正相关。每个点显示一个模型在评估和匹配生产案例上的成功率。虚线显示无加权普通最小二乘拟合。

拆解评估意识的组成部分

这些结果表明，评估分数捕捉到了模型之间一些有意义的差异，尽管模型的确切排名顺序在评估和生产之间有所不同。我们接下来要问，模型对任务情境的解读能否解释这种评估与生产之间的差距。为探究这一点，我们拆解评估意识的组成部分，并区分一般性评估意识（即识别或推测某次交互是评估）与特定评估目标意识（即推断评估正在测试哪种行为）。

在这里，我们通过模型思维链中的自发陈述来衡量言语化的评估意识。我们对每条推理轨迹应用分类器：通用评估意识评分标准询问智能体是否陈述或推测当前交互是对助手的评估、基准测试、评分试验或测试；评估目标意识评分标准询问智能体是否认为自己正在接受针对特定目标的测试，即识别或抵制提示注入，或遵守警告、限制或告诫。观察到的推理中任何位置的符合条件的陈述都计入，但该陈述必须将交互与对智能体的评估联系起来。它不要求所猜测的目标是正确的或可证明地影响后续行动。我们注意到，这种方法的一个局限是，它捕捉的是表达出的假设，而非每一个潜在信念 [5]。

评估中的意识。对于遵守警告评估，我们对所有 rollout 进行评分。在图 3 中，我们看到模型经常言语化评估意识。通用意识率范围为 57.0% 至 83.7%，特定目标意识率范围为 43.7% 至 66.3%。

Figure 3: General and specific-objective awareness are common in the Respecting Warnings evaluation. Each model is evaluated on eight trials per case in evaluation. Error bars show 95% case-bootstrap confidence intervals computed from 10,000 resamples of the source cases. — 图 3：通用意识和特定目标意识在遵守警告评估中很常见。每个模型在评估中对每个案例进行八次试验评估。误差条显示 95% 案例自助法置信区间，由源案例的 10,000 次重采样计算得出。

生产中的意识。对于生产环境，我们检查相关任务片段中所有可用的推理。两种形式的意识在生产中都罕见得多（见图 4）。通用意识范围为 4.6% 至 23.5%，最高比率出现在 GPT-5.6 Luna 中。特定目标意识范围为 0% 至 5.9%。我们在此看到的跨模型的一致分离表明，正如预期，评估意识在评估环境中比在生产环境中频繁得多。

Figure 4: Verbalized awareness is much less common in production contexts. Filled circles show evaluation rates and open circles show production rates, with general awareness on the left and specific-objective awareness on the right. The same rubrics are applied to available reasoning in both settings. — 图 4：言语化意识在生产环境中少见得多。实心圆显示评估率，空心圆显示生产率，左侧为通用意识，右侧为特定目标意识。两种设置中对可用推理应用相同的评分标准。

将评估意识与行为差距联系起来

评估和生产在测量性能以及模型言语化评估意识的频率上都不同。我们询问这种意识是否有助于解释行为差距：识别出评估本身是否表明行为变化，还是模型认为评估正在测试什么才重要？为了研究这一点，我们将每个模型在评估中的通用意识和目标特定意识率与其评估-生产行为差距进行比较。

相关性结果。仅一般评估意识与模型间差距的线性关联相对较弱，R² = 0.008，而特定目标意识则显示出更强的关联，R² = 0.370。值得注意的是，更频繁地表述特定评估目标的模型，其生产性能与评估性能之间的差距往往更大（见图5）。我们看到，识别出评估本身并不能决定模型将如何回应：它对正在被测试的内容的解读才是关键。这种区别在单个轨迹中可见。在一项评估任务中，一个智能体正确推测该基准可能测试它在应用约束后是否会报告失败，并得出结论认为它不应绕过应用的逻辑。在另一项中，它错误地将一个持续警报解读为可能的提示注入基准的信号，并推理认为它应忽略该警报并继续。两条轨迹都包含一个评估假设；不同之处在于模型推断出的目标，因而也在于它认为何种回应是适当的。

GPT-5.6 Sol 和 GPT-6 Sol 具有最大的评估-生产行为差距，并且表述错误目标的比例最高，超过 45.0% 的评估 rollout 提到了相反的评估目标——抵抗提示注入。这一模式为评估-生产差距的意外方向提供了一种可能的解释；它表明，当模型误解评估所测试的内容并试图针对该推断目标进行优化时，其表现可能会更差。在这里，我们看到评估环境可能引发错误的目标假设，导致模型采取在可比生产情境中较少观察到的不安全行为。

Figure 5: Specific-objective awareness is more strongly associated with the behavior gap than general eval-awareness only. Each point shows a model's awareness rate in evaluation and its eval-production behavior gap. — 图5：特定目标意识与行为差距的关联强于仅一般评估意识。每个点显示一个模型在评估中的意识率及其评估-生产行为差距。

Rollout 层面的关联。为了在单个 rollout 层面考察这些关系，我们比较了以不同形式表述意识为条件的成功率。在所有六个模型中，总体成功率为 46.1%，而在表述了一般评估意识的 rollout 中为 42.7%。推断出的评估目标区分了不同结果：在表述了正确目标（尊重警告）的 rollout 中成功率为 61.3%，而在表述了错误且相反目标（抵抗提示注入）的 rollout 中仅为 22.8%。这些关联表明，模型的回应方式可能与其认为评估正在测试的内容有关。与此同时，上述模型层面的相关性表明，评估分数仍然携带一些关于相对生产性能的信息。

干预研究。为了更直接地检验评估目标意识的作用，我们以 GPT-6.1 Sol 为基础模型，在 Respecting Warnings 评估上进行了一项干预实验，添加了一个系统级提示，该提示 (a) 仅说明这是一次评估，(b) 说明正确目标是尊重警告，或 (c) 说明错误目标是抵抗提示注入。在通用评估框架下，我们没有看到性能的显著变化（63.1% 对 63.4%）。指定正确的评估目标将成功率提升至 91.6%，而指定错误且相反的评估目标则将其降至 17.6%（见图 6）。这两个目标特定的提示使行为朝相反方向转变，尽管两者都将该交互识别为一次评估。

本干预中展现出的对目标框架的敏感性，指向了评估-生产行为差距的一个可能来源。在智能体安全评估中，大部分挑战在于识别情境需要何种行为。一旦识别出适当的响应，执行它可能相对直接。这与许多能力评估不同，后者的目标更为明确，难点在于实现它。因此，安全评估分数可能对模型关于正在测试什么的假设特别敏感。推断评估者偏好的行为可能会改变性能，而不会提升模型在现实世界中识别适当行为的能力。如果评估情境引发的目标假设与可比的生产情境不同，这些假设可能导致对同一底层安全选择做出不同响应——从而造成评估-生产行为差距。

Figure 6: Evaluation-objective cues shift model behavior in opposite directions. Bars show 6.1 Sol's performance under the original setup and three system-level cue conditions: a general evaluation cue, the correct objective of respecting warnings, and the incorrect objective of resisting prompt injection. The general cue leaves performance nearly unchanged, while the correct and incorrect objective cues increase and decrease success, respectively. — 图 6：评估目标提示使模型行为朝相反方向转变。柱状图显示 6.1 Sol 在原始设置和三种系统级提示条件下的性能：通用评估提示、尊重警告的正确目标，以及抵抗提示注入的错误目标。通用提示使性能几乎不变，而正确和错误的目标提示分别提高和降低了成功率。

讨论

越来越清楚的是，随着我们的模型能力越来越强，阻止它们识别评估很可能变得困难，识别或许不可避免。一个高度智能的模型可能——并且可以说应该能够——从表面线索、模拟工具或环境的其他特征中识别出评估。关键在于，即使模型意识到自己正在被评估，可比任务上的行为在评估与部署之间是否保持一致。为此，我们正优先追踪评估-生产行为差距，并设计目标不易从评估环境中推断的评估。

致谢

我们感谢 Maja Trębacz、Ian Kivlichan、Jenny Nitishinskaya、Lillian Sun、Saachi Jain、Kai Chen、Ally Bennett 和 Gaby Raila 的深思熟虑的反馈。

参考文献

[1] Needham et al. (2025). 大型语言模型往往知道自己何时正在被评估。

[2] Schoen 和 Nitishinskaya（2026）。Metagaming Matters for Training, Evaluation, and Oversight。

[3] Williams、Raymond 和 Carroll（2025）。Sidestepping Evaluation Awareness and Anticipating Misalignment with Production Evaluations。

[4] Schoen 等（2025）。Stress Testing Deliberative Alignment for Anti-Scheming Training。

[5] Chen 等（2025）。Reasoning Models Don't Always Say What They Think。