OpenAI 研究：公开聊天数据能否预测真实世界的 AI 失准行为

前沿 AI 模型正越来越多地被用于具有真实经济、法律和社会影响的场景。因此，政府、AI 安全组织和独立研究人员需要一些方法来评估这些系统在现实条件下的行为表现。

传统评估使用手写、合成或对抗性提示来对已知风险进行压力测试，并在受控条件下比较模型。但这些提示可能范围狭窄、缺乏代表性，或容易被识别为测试。另一种互补的、用于评估模型在现实世界中行为表现的方式，通常是查看用户与模型的真实对话。LLM 开发者可以在内部这样做，通过从生产数据中抽样，检查模型是否做出了恰当的回应，以及不同失败发生的频率。基于真实使用情况的证据有助于弥合基准测试结果与部署行为之间的差距 [1]，并且更不容易受到模型仅仅因为被测试而表现不同的影响 [2,3,4]。但外部评估者通常无法获取这些证据。由于真实用户对话属于隐私，实验室通常无法将其分享给 AI 安全组织、学术界或独立研究人员。因此，关于前沿模型行为最有信息量的证据依赖于往往只有构建这些模型的实验室才能获取的数据。

今天我们分享了关于 Deployment Simulation 的工作，它利用近期生产数据来预测部署前不良模型行为的发生率，包括罕见和特定于模型的病症 [1,5]。在这篇博客中，我们探讨外部团体能否使用这一技术来评估前沿语言模型，方法是将源数据集替换为公开可用的替代品 WildChat [6]。

我们的核心结果是，使用 WildChat 对话前缀模拟模型部署，能够对现实世界的失败率做出出奇准确的预测。我们通过使用私有生产数据在部署时对基于 WildChat 的预测进行实证验证，从而确立了这一点。我们发现，尽管 WildChat 数据的收集时间与当前使用情况之间存在 2–3 年的差距，这些结果依然成立。

这些误差也很有信息量。预测性能下降最明显的地方，正是当前生产使用与 WildChat 偏离最远的地方，尤其是更具技术性和代理性的错位形式。因此，我们的结果既验证了公开部署模拟，也表明了更新、更广泛、类似生产的数据集对于公开评估下一代语言模型真实失败的价值。我们希望这些结果有助于将公开的、类似生产的数据集确立为外部审计的实用工具，并推动开发更丰富的公开数据集，以评估下一代代理式 AI。

WildChat 作为生产数据的可验证代理

WildChat（Zhao 等，2024 [6]）是一个包含 100 万段对话的数据集，采集自 2023 年 4 月至 2024 年 5 月期间。它通过向用户免费提供托管在 Hugging Face Spaces 上的 ChatGPT-3.5 和 GPT-4 服务来收集，用户需明确选择同意收集并发布其去标识化的聊天记录。此后，WildChat 已被用于构建多个基准测试 [7,8,9]，这些基准试图通过精心挑选少量旨在诱发 AI 模型特定行为的困难提示词，来对 AI 模型的能力或安全性进行排名。我们的目标不同。我们并非挑选 WildChat 提示词的一个子集来测试某个特定的能力或安全行为，而是专注于使用 WildChat 样本的一个代表性样本，并用我们感兴趣评估的目标模型重新生成一个新的最终助手回复。我们提出的问题是：这组用新模型 X 重新生成的 WildChat 对话，能否作为模型 X 自身近期生产流量的一个经过校准的代理指标。

几乎没有理由假设这会奏效。无论是在使用 WildChat 数据对模型 X 进行的模拟部署中，还是在模型 X 的生产数据中，我们评估的都是来自同一底层模型的输出，但模型的行为始终取决于引发它的上下文。我们可能会预期，在创建 WildChat 过程中被用户自愿分享的聊天并不能代表更敏感的使用场景，而且过去几年中 AI 的使用模式已发生显著变化。因此，较旧的公开对话可能无法像当前的私有生产流量那样暴露出相同的失败，或相同的失败率。我们使用近期的生产数据作为真实基准来检验这一点。

我们从 WildChat 中随机抽取了大约 100,000 段对话的子集，并使用 5 个近期 OpenAI 模型（OpenAI o3、GPT-5 Thinking、GPT-5.1 Thinking、GPT-5.2 Thinking、GPT-5.4 Thinking）分别重新生成了一个新的最终助手回复。我们使用由 GPT-5 Thinking 驱动的 LLM 评判器，按照 19 个被追踪的失准与安全类别（附录：表 1）对这些助手回复进行评分，并将每个类别下不良行为的比率与我们对相同问题生产比率的最佳可用估计（基于每个模型至少约 200,000 段对话估计得出）进行比较。因此，这使我们能够从 WildChat 中估计出低至 0.001% 的不良模型行为比率（在 100k 样本中，观察到一次事件对应 0.001% 的比率；真实事件率约为 0.003% 时，有 95% 的概率观察到至少一次事件）。在所有生产数据分析中，用户数据均按照我们的隐私政策进行了去标识化处理。此处仅报告汇总比率和统计比较；私有生产对话不会被发布或分享。

我们表明，在 OpenAI 各模型中，基于 WildChat 测得的不良行为发生率能够出人意料地预测我们在生产数据中观察到的发生率，涵盖跨越四个数量级（OOM）的各类失败（图 2）。WildChat 与生产环境的发生率均使用同一套完整的安全采样流程测量，因此该比较反映的是已部署系统的行为，而非孤立模型的行为。95% 的 WildChat 预测值与实际生产发生率相差在 1.04 个 OOM 以内，这仅比我们基于模型自身部署数据模拟其部署时所能看到的预测误差大 1.86 倍（图 1）[5]。^[2] WildChat 的预测也接近成比例：最佳拟合线的斜率为 1.2（Pearson's R=0.65）。换言之，尽管 WildChat 更早且是公开收集的，它仍保留了相当多的信号，说明哪些失败罕见、哪些常见，以及它们在当前生产使用中大致出现的频率。

用 WildChat 前缀模拟部署可以捕捉模型特有的失败

要让 WildChat 作为对齐审计工具有用，它必须能暴露出被测前沿模型所特有的错位，即使这些错位可能并不存在于被重采样对话的先前轮次中。例如，GPT-5.1 Thinking 已知引入了一种我们称之为计算器黑客的失败模式，即模型学会了表面上调用搜索，仿佛它就是计算器。作为 WildChat 对齐审计能力的一个积极信号，我们看到它能在 GPT-5.1 Thinking 上以与该模型实际部署期间相近的比率诱发这一失败。

对于每个被追踪的类别，我们分别按该类别观察到的生产流行度和 WildChat 流行度对模型进行排名。这些类别内的模型排名呈正相关：在 18 个类别中，平均 Spearman 秩相关系数为 0.57，且类别级置换检验显著（p = 2.0 × 10⁻⁵）。这些结果表明，WildChat 并非仅仅反映数据集或评判器的固定怪癖。它保留了与部署相关行为中有意义的模型特有差异，使其可能有助于比较哪些模型最有可能表现出特定的现实世界失败。

无需特权访问内部推理的外部评估

我们使用的许多错位信号依赖于访问模型的完整推理轨迹。例如，当评判模型能够看到模型内部推理的内容时，判断模型是否歪曲了其不确定性会更容易。外部评估者通常无法访问原始思维链，因此我们在不向评判器展示 CoT 的情况下重复了 WildChat 分析，同时仍提供工具调用和最终模型响应。

对于某些需要通过 CoT 评估意图的失准形式，似乎必然的情况是，没有 CoT 会显著使测量失效。尽管如此，我们发现平均预测质量只是略有变差：在所有失准类别中，平均乘性误差从有 CoT 时的 3.6× 增加到没有 CoT 时的 4.0×。^[2] 在类别层面，concealed uncertainty 的预测在没有 CoT 访问时退化最严重，乘性误差增加了约 3 倍。这些结果表明，对推理轨迹的特权访问可能会改善某些失准类别，但即使没有原始 CoT 访问，针对某些失准形式的公开数据评估仍能保留有意义的信号。

WildChat 的不足之处

虽然输入-输出评估对于许多类聊天失败可能已经足够，但 WildChat 在评估智能体工作流方面更为有限。随着模型借助工具、后台工作和多步执行承担更长时间运行的任务，其失败模式越来越依赖于在像 WildChat 这样的类聊天数据集中基本缺失的上下文，这可能会反映在其在这些场景中的预测性能上。

虽然我们的真实基准率仍然来自 ChatGPT 生产数据（其中智能体对话的数量远少于 Codex），但我们考虑的六个失准类别（在表 1 中用星号标记）似乎与智能体用例最为相关。这些类别的预测误差远大于其余类别：原始乘性误差大约高出 37 倍，且二项 NLL 遗憾^[1]显著高于所有其他被跟踪的类别。这凸显了当前公开聊天数据集有用性的一个重要边界。WildChat 可以支持对普通对话失败进行有信息量的评估，但对于工具丰富或智能体场景中出现的部署风险，似乎是一个弱得多的代理。这表明，公开可用的、具有代表性的智能体数据集——同样针对真实生产数据进行验证——对于评估下一代智能体系统具有价值。

用模型判断的失准评估其他 LLM

最后，我们将我们的方法应用于评估其他前沿实验室的模型。由于前沿 AI 实验室之间无法共享私有生产数据，类似生产环境的竞争对手评估很难开展。WildChat（或其他公开的类生产数据集）可以提供一个共同的、公开的评估基础，任何研究人员或实验室都可以用它来对多个模型开展更具可比性的安全评估。由于不同实验室对可允许内容的边界划定不同，我们仅在此分析中不采用我们的内部分类体系。相反，我们让 OpenAI GPT-5.4 Thinking 来判断每个最终重采样的助手回复轮次是否包含其认为错位的任何行为。我们从 4 家前沿 AI 实验室（包括我们自己的）的 15 个模型的 API 中，对 10,000 条 WildChat 提示词采样了回复，并将每个回复数据集交给评判者。对于每段对话，评判者给出二元评估、简短理由以及对所发现任何问题的描述。由于我们没有提供固定的分类体系或关于哪些行为应被视为错位的详细指导，我们将其视为对整体对齐程度的开放式衡量：即评判者在助手回复中发现任何问题的比率。我们在图 3A 中展示了这些结果。

当把通过此设置获得的模型对齐分数随时间绘制时，我们发现前沿 AI 模型内部及之间的趋势与 Anthropic 研究人员此前报告的结果相似，他们使用 Petri 评估了模型错位——Petri 是一种用于生成合成多轮对话以进行有针对性的高风险对齐审计的工具 [10]。图 3B 取自 Leike 关于对齐随时间趋势的讨论 [11]。我们根据发布日期推断了图 3B 中未标注点的模型名称。在图 3A 和图 3B 中同时出现的 11 个模型中，排名高度一致（Spearman rho = 0.973，p = 5.14e-7；53/55 的两两排序方向一致）。

鉴于 Petri 所设计的针对性重点，这种一致性令人惊讶：基于完全合成的数据生成方法，对 OOD 行为和高度错位进行多轮诱导 [10]。相比之下，我们选择 WildChat 作为最能代表“标准”LLM 使用的公开可用数据集之一。此外，WildChat 可以说甚至达不到这一目标：它包含的用例如今已过时 2-3 年，其提示词分布主要由非常简短的对话组成（我们子采样数据集中约 67% 包含两个或更少的用户轮次），并且 3% 的样本仅包含一条仅向模型问候的单一用户消息。

一种可能的解释是，WildChat 捕捉到了一个宽泛的安全信号，该信号也能泛化到 Petri 旨在测量的更高风险的失准倾向。然而，一种更谨慎的解释是，Petri 的总体得分本身可能在很大程度上是由相对常见的模型行为驱动的，而不仅仅是由其场景旨在引发的更罕见的高风险失败所驱动。Petri 针对欺骗、滥用协助、监督颠覆、自我保存以及其他高风险风险，但整体模型排名仍可能受到更普通的失败（如过度顺从、拒绝校准不佳、幻觉、不确定性处理薄弱或指令遵循脆弱）的强烈影响。如果这是解释，那么这种一致性就不太能证明 WildChat 测量了高风险鲁棒性，而更能证明两种方法都在追踪一个共同的通用安全质量因子。如果这一解释正确，Petri 的总体得分仍然有用，但它可能无法清晰地将高风险对齐行为与更一般的模型质量和安全问题隔离开来。我们不确定哪种解释是正确的，并欢迎能够区分它们的工作。

我们还注意到，尽管评判者对每个数据集的来源不知情，但由于 OpenAI 模型在策略和安全栈方面的一致性，我们的评判者在这里可能受到某种“给自己批改作业”效应的影响，并优先对待其他 OpenAI 模型。我们承认，出于这一原因，图 3B 中的 Petri 图可能反映了对竞争模型更为平衡的看法。我们使用由 OpenAI o3 支持的评判者而非由 GPT-5 支持的评判者重复了这一比较，发现 15 个模型的排序几乎没有变化（Spearman rho = 0.971，p = 1.69e-9；平均绝对排名偏移 = 0.53 个位置；仅 5/105 对模型顺序颠倒）。

结论

综合来看，这些结果使公开生产数据作为前沿实验室之外研究人员的有用评估工具具有了合法性，尤其是对于在普通聊天式交互中出现的失败。但它们也显示了这种有用性的边界：WildChat 对于与智能体行为最相关的类别预测性最差，因为其简短、大多非智能体的对话最不具代表性。这使得下一步变得清晰：AI 实验室可以通过对照私有部署数据验证开放、经同意的、类生产数据集来加强公开评估，同时不损害用户隐私。除此之外，协调努力构建和维护更多公开的类生产数据集将是有价值的。我们希望这能鼓励该领域为智能体 AI 的生成构建更丰富的公开数据集——长上下文、使用工具、多会话交互，外部研究人员、政府和 AI 安全组织可以将其有意义地用于评估。

脚注

• [1] 我们使用二项 NLL 遗憾，因为它评估罕见事件率预测，同时考虑了低流行率下的抽样噪声。关于这种方法背后思路的更多细节，请参见我们的论文 [5]。 ↩
• [2] 其中一些数字可能与我们论文中报告的略有不同，因为这里我们在额外模型上运行了分析。 ↩ ↩

参考文献

1. Williams, M. et al. (2025). Sidestepping evaluation awareness and anticipating misalignment before deployment. OpenAI Alignment Research Blog.
2. van der Weij, et al. (2024). AI sandbagging: Language models can strategically underperform on evaluations. arXiv.
3. Needham, J., et al. (2025). Large language models often know when they are being evaluated. arXiv.
4. Greenblatt, R., et al. (2024). Alignment faking in large language models. arXiv.
5. Williams, M., Sheahan, H. Raymond, C., Korbak, T., et al. (2026). Predicting LLM Safety Before Release with Deployment Simulation. arXiv.
6. Zhao, W., et al. (2024). WildChat: 1M ChatGPT interaction logs in the wild. arXiv.
7. Lin, B. Y., et al. (2024). WildBench: Benchmarking LLMs with challenging tasks from real users in the wild. arXiv.
8. Han, S., et al. (2024). WildGuard: Open one-stop moderation tools for safety risks, jailbreaks, and refusals of LLMs. arXiv.
9. Zhao, W., et al. (2024). WildHallucinations: Evaluating long-form factuality in LLMs with real-world entity queries. arXiv.
10. Fronsdal, K., et al. (2025). Petri: Parallel exploration of risky interactions. Anthropic.
11. Leike, J. (2026, January 22). Alignment is not solved: But it increasingly looks solvable. Musings on the Alignment Problem.

致谢

感谢 Marcus Williams、Cameron Raymond 和 Tomek Korbak 提供的相关研究与讨论。同时感谢 Jenny Nitishinskaya、Ludovic Peran、Maja Trebacz、Sam Arnesen、Jasmine Wang、Mia Glaese、Michael Sharman、Gaby Raila、Ally Bennett 和 Danielle Kehl 推动这项工作并对本文提供的有益反馈。

BibTeX

@misc{sheahan2026validatingpublicaudits,
  title = {Can public chat data predict real-world AI misalignments?},
  author = {Sheahan, Hannah and Carroll, Micah},
  year = {2026},
  month = {Jun},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/validating-public-evals/}
}

附录