OpenAI 发布 GPT-Rosalind-6 系统卡增补

2 模型数据与训练

GPT-Rosalind-6 使用与 GPT-6 Astra 相同的权重。本次发布我们没有添加训练数据，也没有进行额外的后训练。底层模型的数据与训练详情见 GPT-6 Astra 系统卡。¹

3.2 基因组学与定量生物学

GeneBench Pro v13 测试智能体规划并执行生物数据定量分析的能力。我们根据每个模型在每个推理预算下对 129 道题各给出七次回答，估算单次尝试成功率。在测试的最高推理预算下，GPT-Rosalind-6 的单次尝试成功率为 37.7%，GPT-Rosalind-5.5 为 16.7%。该评估使用了特定于基准的配置，与生产环境不同。

4.1.1 生物与化学

与我们对 GPT-6 Astra 的处理方式相同，我们将此次发布视为在生物与化学领域具有 High 能力。下文描述了我们得出这一结论所用的评估。我们采用 GPT-6 Astra 系统卡中描述的四项 High 能力评估和四项 Critical 能力评估。此前为 GPT-Rosalind-5.5 报告的硬负样本蛋白质结合与 DNA 序列设计评估已停用。

High 能力评估测试湿实验室知识与故障排查能力。Critical 能力评估测试可能帮助专家开发高度危险的新型威胁的生物学设计能力。这些评估提供的是关于特定能力的证据，而非对造成生物危害能力的完整测试。Critical 能力阈值是基于专家判断的初步估计，随着评估的完善可能会发生变化。

以下结果报告的是观测到的表现，对于 High 能力评估还报告了拒答调整后的分数。pass@1 衡量单次尝试的成功率。该调整将拒答视为正确答案，以估算安全训练可能掩盖的能力。对于 Biorisk 知识，我们在该调整后重新计算共识答案。GPT-6 Astra 参考值使用其系统卡中报告的评估运行结果。

4.2.2 模型行为与系统防护措施

这些评估是刻意设计得较为困难的。它们围绕我们现有模型尚未给出理想回答的案例构建，这一点也反映在下面的分数中。发布后我们将继续监测这些类别，以评估线上表现并酌情进一步调整防护措施。

4.2.2.1 生物与化学防护措施

GPT-Rosalind-6 的设计目标是比一般可用的 ChatGPT 模型更有助于合法的先进生物学研究。这支持先进生命科学工作流程，包括 GPT-6 Astra 在通用访问中可能拒绝的一些两用主题。我们仍会调整模型，使其拒绝或安全回应那些会继续实质性助长严重生物武器化的请求。该训练与我们的分类器训练及离线缓解措施分开进行，以使防护措施去相关。

为评估这些模型层面拒答的质量，我们追踪模型对来自留出合成数据、红队测试和生产数据的提示的回答安全性。这些基准及其评分仍在持续更新，因此结果不能直接套用于过去的系统卡。

表 10 报告了我们在整套生物安全基准上的结果，同时考虑了模型行为与防护措施。我们注意到，由于 GPT-Rosalind-6 是受信任访问部署，我们主要考虑了 Biosecurity - Severe 基准的结果。Biosecurity - Benign 评估模型在一组良性生物学和操作性问题上的合规性（完全有帮助，不拒绝或附加说明）。其余基准分数显示的是模型响应中通过配置的安全评分器的比例，这些提示与生物武器化相关。未通过的响应在此评分标准下被标记；这并不一定意味着它绝对不安全。

4.2.2.3 安全与对齐评估

我们还评估了 GPT-Rosalind-6 的指令遵循、诚实性、对提示注入的抵抗能力，以及使用工具时的行为。额外评估考察自动监控是否能检测到有害行为，以及模型在被指示时是否能规避检测或改变其推理。

在下表中，↑ 表示分数越高越好，↓ 表示分数越低越好。GPT-6 Astra 的结果作为背景一并列出。不同运行的评估版本、推理设置、评分和样本覆盖范围有所不同，因此这些是描述性比较。“Not available”表示尚未确定数值参考结果。≈ 表示从已发布图表中读取的近似值。

4.2.4 安全与访问控制

获批的 GPT-Rosalind-6 客户必须维持适合访问更高能力生命科学模型的安全控制。这些控制包括强身份与访问管理、管理员控制、适合获批部署的最小权限访问控制，以及在用户不再有合法需求时移除访问权限的流程。

模型访问和数据保留安排需单独审批。客户必须满足其获批部署的安全与监督要求。

与其他 OpenAI 部署一样，我们预计将继续从真实世界使用中学习。我们将监控安全信号、客户体验和新兴滥用模式，并可能随着部署演进更新 GPT-Rosalind-6 的防护措施。