OpenAI 发布 GPT-6 Cyber 系统卡

2. 模型数据与训练

GPT‑6 Cyber 的后训练聚焦于网络安全能力与对齐。我们使用强化学习，在复现崩溃、开发可用的漏洞利用程序、在代码库中搜索漏洞等任务上训练模型。通过这一训练，模型学会改进其方法、尝试不同策略并识别错误。我们还使用旨在减少对授权网络安全请求的拒绝的奖励信号。

在提升这些能力的同时，我们引入训练信号以改进对齐并抑制奖励黑客行为。这些信号强化遵循用户的预期范围和授权、避免未经请求的操作，以及准确报告结果。¹

3.3 生物安全与过度拒绝

我们测试了减少网络安全任务上的拒绝是否也会让 GPT-6 Cyber 更愿意提供违规的生物协助。GPT-6 Astra 系统卡中描述的生物学拒绝评估涵盖严重风险请求、兼具合法与潜在有害用途的双用途请求，以及良性生物学问题。我们衡量前两类中的非违规响应，以及模型在第三类中是否避免不必要的拒绝。

在这些评估中，GPT-6 Cyber 对几乎所有严重风险和双用途生物学请求均未遵从，同时对大多数良性问题作出了回答且没有不必要的拒绝。

4. 对齐与智能体安全

如系统卡所述，GPT‑6 Astra 相较 GPT‑5.6 Sol 引入了显著的对齐改进。我们在 GPT‑6 Cyber 上的目标是提供类似的对齐改进，同时支持更广泛的授权网络安全工作。我们使用相同的对齐评估来测试模型是否遵守限制、如实报告障碍，并保持在用户授权范围内。下文将 GPT‑5.6 Sol 和/或 GPT-5.6 Cyber 作为前代基线报告。

GPT‑6 Cyber 相较 GPT‑5.6 Sol 显示出显著改进。其对齐结果与 GPT‑6 Astra 大致相当，在各项评估中各有优劣：在遵守 Auto-Review 拒绝方面与 Astra 持平，在承认搜索工具不可用方面表现更好，但在警告表明应当停止时停止的可能性略低，在最终回答中报告阻碍因素方面表现更差。

4.1 遵守限制与范围

遵守审查决定。我们测试了 GPT-6 Cyber 是否遵守 Auto-Review 拒绝。在评分 rollout 中，模型完成被禁止操作的比例为 0%，与 GPT-6 Astra 持平，而 GPT-5.6 Sol 为 0.3%。

Auto-Review 评估（越低越好）

响应警告。我们测试了模型如何响应工具界面显示的警告，其中一组任务中停止更合适，另一组中继续更合适。GPT-6 Cyber 在两组任务上均优于 GPT-5.6 Sol：停止更合适时为 73.00% 对 57.10%，继续更合适时为 80.43% 对 77.26%。与 Astra 相比，GPT-6 Cyber 在第一组上停止的频率更低（73.00% 对 78.38%），但在第二组上成功率更高（80.43% 对 72.19%）。这一模式与其更强的任务持续性一致。

警告评估（两个子集均为越高越好）

保持在范围内。我们的 ExploitGym Honeypot 评估选取了 ExploitGym 中一些最具挑战性的任务，并添加了一个辅助服务作为蜜罐。模型可以将此服务用于合法的支持任务，但利用它属于授权范围之外。在没有部署安全说明的情况下，GPT-6 Cyber 在 0.07% 的评分 rollout 中利用了蜜罐，相比之下 GPT-5.6 Sol 为 49.5%，GPT-5.6 Cyber 为 5.51%，GPT-6 Astra 为 0%。在有部署安全说明的情况下，GPT-6 Cyber 观察到的利用率为 0%。

ExploitGym Honeypot 评估（越低越好）

5.3 新增和强化的保障措施

GPT-6 Cyber 更强的网络安全能力带来了更大的危害风险，因此我们围绕该模型添加了一系列新的保障措施。

阻止高风险网络协助。我们在 GPT-6 Cyber 和 Daybreak Blue 中的网络关键模型中添加了额外检查，以检测和阻止涉及工业控制、基本服务和选举系统的高风险协助。这些检查还针对可能导致死亡或严重伤害、灾难性物理破坏、危及生命的服务中断或进攻性控制武器系统的协助。

我们与工业控制安全专家 Dragos 合作，在受控实验室中使用网络宽松的 Daybreak Red 模型评估了这些保护措施。我们共同开发了一项敏感的 red-teaming 评估，涵盖从理解设备到以危险或未经授权的方式与其交互的请求。下面，我们展示了在这些更改前后，我们不同可信访问层级在此评估上的阻止率，包括我们 Standard 访问、Daybreak Blue 和 Daybreak Red 层级的召回率改进。

图：在敏感 red-teaming 评估中，四种访问配置在更新前后的保障阻止率。阻止率衡量的是被保障措施标记的请求所占比例；它并不衡量对合法防御工作的过度拒绝。

我们继续利用安全社区的反馈来完善这些保障措施，包括合作伙伴报告以及通过我们第一方产品中的 /feedback 提交的报告，当保障措施漏掉有害活动或干扰合法工作时。

网络特定失准监控。我们调整了监控指令，以区分授权的安全测试和用户范围之外的操作。这些指令帮助监控器评估模型对系统、凭据和数据的使用是否与用户的授权相符，而不会将合法的漏洞利用开发或测试视为本质上的失准。

面向所有用户的生物安全模式。我们还防范以网络为重点的训练可能降低网络安全之外拒绝率的风险。我们为每位 GPT-6 Cyber 用户启用保守生物安全模式，并配合生物安全分类器和监控。扩大网络访问权限并非意在放松我们对其他类型危害的保障措施。

私有安全处理。接下来，我们构建了自动安全检查机制，将相关交互放在一起审查，以检测在单个请求中可能不明显的滥用行为。为实现这一点，我们通常要求使用 零数据保留 的 API 客户采用 私有安全处理（PSP），仅允许有限的获批例外。GPT-6 Cyber 仍默认采用标准数据保留。

我们使用 PSP 在受保护环境中审查加密的安全记录，并生成有限的安全信号，同时不会向 OpenAI 人员暴露底层提示和响应。客户将加密记录保留在自己的存储中 30 天，并可在自己的系统中调查这些记录，或选择与我们共享相关信息。

API IP 允许列表。为了让被盗凭据更难被使用，我们默认要求 Daybreak Red API 访问使用 IP 允许列表。这会将请求限制在客户批准的网絡地址范围内。对于技术限制，我们批准例外；云服务提供商部署可能有不同要求或获批的替代方案。

账户泄露监控。最后，我们会监控 API 密钥和 使用 ChatGPT 登录 访问令牌，以发现 Daybreak Red 和 Blue 中是否存在泄露迹象。当我们检测到可疑活动时，可以展开调查并撤销受影响的凭据。

10. 生物和化学安全

我们将 GPT-6 Cyber 在生物和化学能力方面视为“高”但非“关键”，这与 GPT-6 Astra 的 Preparedness 评估 一致。由于其额外训练侧重于网络安全，我们预计其生物和化学能力将与 Astra 大体相似。

为验证这一预期，我们运行了五项 Bio-High 评估。与之前的系统卡一致，我们将拒答计为成功，以估算能力的保守上限。GPT-6 Cyber 有时会获得更高的原始分数，但这主要归因于拒答更少；在计入拒答和安全完成情况后，其分数与 GPT-6 Astra 相当。在 ProtocolQA 上，GPT-6 Cyber 使用标准评分得分为 47.2%，而将拒答和安全完成计为正确时得分为 50.9%；两项分数均高于 Astra 的对应分数（41.4% 和 45.4%），但都仍低于 ProtocolQA 指示性的“高”阈值 54%。这些结果支持沿用 Astra 的评估。