OpenAI 将嵌入 Apollo Research 六名安全评估员开展试点
OpenAI will embed safety researchers to investigate AI subversion
Apollo 表示,OpenAI 将在试点中把六名 Apollo Research 安全评估员嵌入其组织,调查模型是否会试图破坏自身或后继版本的对齐与控制机制。
Apollo周一表示,作为试点项目的一部分,OpenAI将在其组织内嵌入六名Apollo Research的安全评估人员。Apollo表示。此前发生了一系列安全事件,其中一起是在网络安全测试期间,OpenAI的一个智能体集群突破了沙箱环境并入侵了Hugging Face。许多AI安全研究人员,包括Apollo的研究人员,都认为如果在OpenAI内部嵌入外部评估人员来监督其安全测试,此类事件本可以避免。
Apollo未透露试点何时开始。TechCrunch已联系OpenAI寻求置评。
将评估人员嵌入前沿AI实验室的想法最初来自Anthropic,但OpenAI似乎是第一家采取行动的公司。直到最近,AI公司才在训练后和公开发布前不久引入外部审查人员来测试模型。评估人员表示,这还不够,因为这不允许他们在训练期间测试模型是否存在阴谋策划等失准行为,也无法监控可能仍构成威胁的内部部署用例。
OpenAI与Apollo的试点将重点调查模型是否试图破坏自身或其继任者的对齐或控制机制。换言之,他们将密切关注AI模型是否试图削弱旨在将其自身或未来版本置于人类控制之下的安全规则和保障措施。OpenAI最近发布的研究发现,在训练GPT-5.6 Sol时,它开始为未来版本的自己留下指令,告诉它们向用户隐瞒错误和失准行为。
据Apollo称,该试点将考察训练是否会激励破坏行为;评估能否诱发破坏行为;破坏行为是否在内部部署期间发生;以及与破坏行为相关的推理是否可被检测到。随着AI模型越来越有能力自主行动和欺骗人类,这些风险对监控而言正变得越来越重要。Apollo此前与OpenAI的研究发现,模型在知道自己正在被测试时可能表现出不同的行为,并且倾向于优先考虑评估人员想看到的结果,而非用户的实际利益。
AI安全社区的许多人警告称,AI实验室可能会试图阻挠评估人员的独立性,尤其是当外部人员发现实验室宁愿隐藏的不利证据时。Apollo表示,试点的一个关键部分是OpenAI同意该公司可以公开解释其工作的条件和局限性。
尽管如此,Apollo认为其在访问OpenAI系统方面仍存在不足。Apollo表示,要对该公司的AI模型进行真正独立的评估,它需要对OpenAI系统拥有真正的员工级访问权限,包括“与其评估相关的所有数据、记录和文档,即使开发者试图隐藏不利信息”。获取所有数据——包括公司不愿向外部人员展示的训练数据和评估日志——对于核实公司关于模型表现的声明或确定某些令人担忧的行为何时出现非常重要。
在之前的报道中,Palisade Research幕僚长John Steidley告诉TechCrunch,查看这些数据对于评估模型是否被训练在“关机抵抗基准”上表现良好非常重要。
在OpenAI的首次试点中,该AI实验室仅向Apollo提供评估模型是否存在颠覆企图所需的信息。这包括“相关的训练代码和数据集、带有可用推理轨迹和奖励的强化学习推演,以及查询中间模型检查点的能力”。
Apollo表示,访问范围将限于“仅限双方约定的主张,且仅限为评估所约定的特定模型和时间段”。OpenAI仍保留在该范围内扣留某些信息的权利,前提是其认为因技术不可行、安全风险或知识产权保护而有必要这样做。该公司同意不会仅因信息不利就予以扣留。
Apollo也不会获得接触所有OpenAI员工的机会,而是仅限于“仅限授权员工”,即由该AI实验室选定的参与者,不过Apollo可以推荐特定人选。关键在于,如果该群体之外的OpenAI员工在Apollo研究范围内提出了机密信息,该公司不能跟进,而须停止沟通并通过OpenAI转达后续事宜。
这一条件意义重大。此前 OpenAI解雇了三名研究人员 ,原因是他们涉嫌与安全评估公司METR分享机密信息——METR与Redwood共同完成了Hugging Face事件的事后分析。
该试点在研究人员可披露的内容方面也将受到限制。虽然Apollo将被允许发布其发现的独立结论,但OpenAI将能够限制可用于公开证实这些结论的证据,这可能会使外部人士难以独立评估这些发现。Apollo已对这一限制提出反对,称其认为应允许研究人员将评估发现披露给“适当的外部受众,即使开发者试图阻止披露不利的发现”。
尽管OpenAI并未满足Apollo关于真正独立评估的所有条件,但该公司表示,该试点是“朝着更深层次的访问和披露权利迈出的雄心勃勃的第一步”,并称其正致力于未来与多家AI开发者开展全面的嵌入式评估。
当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Rebecca Bellan是TechCrunch的高级记者,负责报道塑造人工智能的商业、政策和新兴趋势。她的作品也曾发表于Forbes、Bloomberg、The Atlantic、The Daily Beast及其他出版物。
您可以通过发送电子邮件至[email protected]或通过Signal上的加密消息rebeccabellan.491联系Rebecca或核实其联系信息。
来源:TechCrunch · AI · techcrunch.com