跳到正文
OpenAI News·· 1 天前精选AI 评分71

OpenAI 披露对抗蒸馏防御方法:GPT-6.2 Astra 推理轨迹提取攻击成功率降至 0.2%

Combatting adversarial distillation

AI 导读

OpenAI 分享其检测和阻断对抗蒸馏的做法,将对抗测试、模型训练、分类器和 API 层防护与对协同提取行为的调查结合起来。在内部自适应红队评估中,针对 GPT-6 Astra 原始防护的推理轨迹提取平均攻击成功率为 54.0%,在 GPT-6.2 Astra 更新防护后降至 0.2%,针对当前请求的提取成功率从 22.9% 降至 0.9%。

推荐理由

OpenAI 公开了对抗蒸馏的检测与阻断方法,并给出推理轨迹提取攻击成功率从 54.0% 降至 0.2% 的对比数据。

正文 · AI 翻译

随着前沿 AI 模型能力不断增强,安全保障在如何负责任地使用这些模型方面发挥着越来越重要的作用。对抗性蒸馏为恶意行为者提供了一条路径,使其能够在没有适当安全保障的情况下复制这些能力。行为者可能未经授权使用前沿模型的输出训练另一个具有类似能力的模型,然后在没有同等保护措施的情况下部署它。例如,对手可能蒸馏模型的网络能力,并利用所得模型协助实施网络攻击,而原始模型本会拒绝协助此类攻击,或其安全保障本会阻止此类攻击。

我们正在分享 OpenAI 如何检测和阻断对抗性蒸馏、我们如何加强对模型受保护推理的保护,以及我们学到的有助于增强全行业防御的经验。

我们应对对抗性蒸馏的方法结合了对抗性测试、模型训练、分类器和 API 级保护,以及对协同提取模型能力行为的调查。这些更新后的保障措施与我们用于生物和网络安全领域的保障措施更加一致。

我们特别重视防止攻击者提取我们模型的受保护推理:即模型在得出答案过程中内部生成的中间步骤,也就是其思维链。这些轨迹可能包含最终答案未包含的信息,使其成为训练另一个模型时格外有价值的训练数据。

我们已在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 中加强了对受保护推理提取的防御。在一次使用强自动化红队测试的内部自适应评估中,我们测试了攻击者能否恢复模型在回答先前提示时生成的受保护推理。平均攻击成功率从针对采用原始保障措施的 GPT‑6 Astra 的 54.0% 降至针对采用更新保障措施的 GPT‑6.2 Astra 的 0.2%。

为什么蒸馏是一个安全问题

蒸馏是一种常见的机器学习技术,其中一个模型从另一个模型产生的数据中学习。例如,一个模型可以从另一个模型的答案、其推理,或其对哪些答案更好以及为什么的判断中学习。除知识产权方面的担忧外,未经授权的蒸馏还带来严重的安全风险。通过对抗性蒸馏,第二个模型可以学习先进的前沿能力,却不会继承约束原始模型如何使用这些能力的保障措施。

在网络安全和生物学等两用领域,这种担忧尤为明显。一个帮助防御者发现软件漏洞的模型,也可能帮助攻击者利用这些漏洞;一个协助生物学研究的模型,也可能帮助某人开发有害病原体。如果此类能力被转移到保障措施较弱的模型上,它可能提供原始模型本会拒绝、或原始保障措施本会阻止的协助。

为网络安全保护精确推理轨迹的重要性

我们的模型帮助用户完成编程和防御性网络安全任务。一个基于许多此类良性输出训练的第二模型可能会学到同样适用于攻击性网络安全任务的技能。为了更好地理解这一点,我们研究了蒸馏——尤其是涉及推理轨迹的蒸馏——可能如何转移有风险的网络能力。

在此设置中,生成训练数据的模型称为教师,从中学习的模型称为学生。在一项关于网络能力如何转移的内部研究中,我们使用用户通常可见的内容——最终回复、推理摘要和工具交互——作为蒸馏的基线,并测试了当学生能够访问教师的精确推理轨迹时,额外有多少网络能力被转移。

每次训练运行都从同一个预训练学生模型开始。我们创建了一个监督微调数据集,主要由 Astra 级教师模型在编程和防御性网络安全任务上产生的轨迹组成。每条轨迹包含模型在完成任务时所采取的所有步骤,包括任何工具交互及其最终回复。我们在微调后以及在一轮轻量级强化学习(在网络安全和编程环境中)后分别对每个学生进行了评估。

在监督微调后,基于精确推理轨迹训练的学生通常优于基于推理摘要训练的学生。在强化学习后,在所示两个基准上测试的最大推理预算下,精确轨迹学生的得分仍然更高,而摘要训练的学生在较低预算下得分更高。1

我们的网络蒸馏结果表明,保护推理轨迹可以限制网络能力转移,即使底层任务是我们使用政策所允许的任务。在许多此类交互中,精确推理轨迹可以教会学生技能,这些技能会泛化到教师最初执行的任务之外。我们将继续研究在不同学生模型和蒸馏训练配方下额外有多少能力被转移。

相互强化的防御

我们在安全栈的两个互补层面防御对抗性蒸馏。在请求层面,模型行为、分类器检查和 API 控制限制了推理轨迹的提取。在活动层面,我们寻找请求级和账户级信号中的模式,这些模式可以揭示协调的提取尝试。反过来,调查中发现的攻击会成为训练和测试我们安全措施的示例。

我们针对对抗性蒸馏的防御将单个请求的安全措施与活动检测和执法相结合。调查和自动化红队测试的发现有助于加强这些安全措施。

保护单个请求和响应

模型行为的防御性训练

对抗训练教会模型识别推理提取尝试并拒绝披露受保护的推理,同时保留对合法解释和协助请求的响应。对抗训练样本来自通过内部自动化红队测试、调查以及外部研究人员或行业合作伙伴负责任披露的潜在安全弱点所识别的成功攻击。

分类器防护措施

我们使用输入分类器检测提取受保护推理的尝试,并使用输出分类器检测助手消息和工具调用参数中受保护推理的泄露。这些防护措施同时适用于流式和非流式响应。

工具调用覆盖很重要,因为模型可能在工具参数中暴露受保护的推理,而不将其包含在最终答案中。输出分类器可以在该内容到达调用方之前阻止可疑泄露。

API 级保护

API 级保护限制了受保护推理在交互和模型之间的复用方式。我们九月份的披露描述了将加密推理从一个对话转移到另一个对话,并要求模型以用户可读形式揭示推理的攻击。我们加强了跨用户、工作区、组织和模型系列边界的保护,包括关闭了一条可能暴露其他用户加密推理的路径。

对于 GPT‑6.2 Astra 和 GPT‑6.2 Sol,我们将模型的受保护推理与其产生的对话历史绑定。随着新消息的添加,模型可以基于其先前的推理继续构建。如果较早的消息被重写,我们的 API 会丢弃其后的推理⁠(opens in a new window)。我们还防止防护措施较弱的旧模型系列读取 GPT‑6.2 Astra 和 Sol 的受保护推理。

调查和瓦解协同行动

当我们的系统检测到未经授权的对抗性蒸馏行动时——这些行动通常包括协同尝试提取我们模型的推理——我们会调查相关账户。当我们发现违规行为时,我们会依据我们的政策和服务条款对账户网络采取执法措施。通过对每次行动的调查,我们获得洞察,从而升级我们的防御措施,以更好地检测类似活动。我们还与其他模型提供商共享入侵指标,以便他们调查自身服务上的相关滥用行为。

这项工作超越了我们的平台。我们的一致标准政策为提供我们模型的提供商建立了共享的防护标准和协同执法。我们在适当情况下与合作伙伴密切合作,以维护这些标准并加强各部署中的保护。

在适当情况下与行业和政府分享相关发现,有助于瓦解相关行动,并使模型开发者和提供商能够更好地识别和防御对前沿模型的蒸馏尝试。

衡量进展

抵御推理提取

为了衡量我们的请求级防护措施协同工作的效果,我们在一个高度贴近模型与防护措施生产部署的环境中,测试攻击者是否仍能提取受保护的推理内容。在静态评估中,我们重放一组此前已成功的固定攻击,以查看哪些攻击仍能暴露受保护的推理内容。在自适应评估中,自动化 AI 红队会根据系统的响应调整其方法,这可以发现静态测试遗漏的弱点。

我们还改变了测试人员可以看到的内容。黑盒测试给予他们与外部用户相同的视角,而白盒测试则向他们提供有关系统的额外信息,以帮助他们开发更强的攻击。在我们的自适应黑盒评估中,我们测试了攻击者能否恢复模型在回答先前请求或当前请求时生成的受保护推理内容。在配备更新后防护措施的 GPT‑6.2 Astra 上,每种攻击类型的平均攻击成功率均低于 1%。这两个比率都显著低于配备原始防护措施的 GPT‑6 Astra。我们现在也在将部分选定的防护改进应用到 GPT‑6 Astra 上。

攻击类型

配备原始防护措施的 GPT‑6 Astra 防御方

自适应提取 ASR(%)

配备更新后防护措施的 GPT‑6.2 Astra 防御方

自适应提取 ASR(%)

从先前请求中提取受保护的推理内容

54.0

0.2

从当前请求中提取受保护的推理内容

22.9

0.9

针对 GPT‑6 Astra 和 GPT‑6.2 Astra 的自适应黑盒红队测试中的攻击成功率(ASR),汇总自六个攻击者模型。ASR 越低越好。

活动检测与执法

今年,我们在平台上发现了多起未经授权的对抗性蒸馏活动,并在 9 月的报告中分享了初步发现。我们每周针对这些活动采取的执法行动规模从数千个账户到数万个账户不等,且今年夏天这一速率显著上升。

为了衡量我们工作的有效性,我们还跟踪蒸馏滥用的普遍程度,以及从检测到执法之间的时间。我们的目标是限制蒸馏者能够获取的数据量和价值,提高蒸馏活动的成本,并缩短响应新攻击所需的时间。我们通过对抗性测试和调查持续改进这些防御措施。

对抗性蒸馏的国家安全影响

对抗性蒸馏还构成国家安全风险。从美国模型复制先进能力的外国行为者,可以在不部署其开发者所设置防护措施的情况下使用这些能力。今年 2 月,我们向国会通报⁠(在新窗口中打开)了表明 DeepSeek 试图蒸馏美国前沿模型的活动。9 月,我们报告称破坏了一场提取我们模型受保护推理内容的活动,并将该活动的核心部分归因于与 Kimi 开发者 Moonshot AI 相关的个人。我们计划很快分享更多关于我们近期破坏的活动。

我们支持立法,为美国政府提供更多工具,以识别和制裁从美国AI模型中非法提取能力的外国行为者。我们还告知国会,我们支持《芯片安全法案》、《AI OVERWATCH法案》和《MATCH法案》。更严格的出口管制可以限制对手获取训练前沿模型所需的硬件。蒸馏防御使对手更难从已训练的模型中获取部分相同能力。这两项努力有助于保持美国在前沿AI领域的领先地位,让开发者在需要时间测试安全保障时,有更多余地放慢发布节奏。

其他人如何在此基础上继续推进

支持前沿能力的安全扩散是我们反蒸馏工作的重要目标。迄今为止的经验表明,其他模型开发者和平台可以采取以下几个有用步骤:

  • 在整个交互过程中保护私有推理。检查助手消息和工具调用参数是否泄露,并限制加密推理在对话和模型之间的复用方式。

  • 将通过红队测试、生产监控或负责任披露发现的成功提取攻击日志保留为回归测试。在适当情况下,并符合适用的隐私政策的前提下,使用这些示例来改进模型训练和分类器。在评估更新后的防御措施时,重放原始攻击,并测试自适应红队人员是否仍能找到绕过这些防御的方法。

  • 将请求级别的缓解措施与活动级别的调查和执法相结合。

  • 与部署合作伙伴协调保障要求和执法,并与其他AI模型开发者分享专业知识,以确保整个行业具备高水平的蒸馏保障。

我们此前还通过Frontier Model Forum⁠(在新窗口中打开)和适当的政府信息共享渠道分享了发现,以帮助其他开发者加强防御,同时将攻击者可能利用的细节保密。我们将继续与研究人员、开发者和合作伙伴合作,分享我们关于新兴攻击和有效防御的发现。

在我们广泛提供前沿AI的同时,我们针对对抗性蒸馏的防御旨在降低其能力在没有充分保障的情况下被复现的风险,支持我们确保通用人工智能安全部署并造福全人类的使命。

来源:OpenAI News · openai.com