OpenAI ↗ · 2026-11-20 18:00 · UTC+8
打击对抗性蒸馏
媒体报道 OpenAI 原文语言:英文
OpenAI 探讨了如何检测和破坏对抗性蒸馏,防范不良行为者未经授权复制前沿 AI 模型的能力。通过强化对模型受保护推理(思维链)的防御,GPT-6.2 Astra 的平均攻击成功率从原先 GPT-6 Astra 的 54.0% 降至 0.2%。
全文
OpenAI
2026年11月20日
对抗性蒸馏的应对措施
我们正在解决蒸馏安全风险的方式以及我们从中学到的加强整个行业防护的经验。
随着前沿AI模型能力的提升,安全防护在负责任使用这些模型时变得愈发重要。对抗性蒸馏为不法分子在缺乏适当防护的情况下复制这些能力提供了途径。攻击者可能在未经授权的情况下使用前沿模型的输出训练另一个具备相似能力的模型,然后在缺乏相应保护的情况下部署它。例如,敌对方可能蒸馏模型的网络安全能力,并利用生成的模型帮助实施原模型会拒绝协助或其防护机制会阻止的网络攻击。
我们将在此分享OpenAI如何检测并阻止对抗性蒸馏、如何加强对模型受保护推理的防护,以及我们所学到的可帮助整个行业强化防御的经验。
我们对抗性蒸馏的方案结合了对抗性测试、模型训练、分类器以及API层面的防护,并对协同提取模型能力的尝试进行调查。这些更新后的防护措施与我们在生物学和网络安全领域使用的防护更为一致。
我们特别强调防止攻击者提取模型的受保护推理:模型在给出答案过程中内部生成的中间步骤,称为思考链。这些痕迹可能包含最终答案未透露的信息,使其成为另一个模型极具价值的训练数据。
我们已在GPT‑6.2 Astra和GPT‑6.2 Sol中加强了对受保护推理提取的防御。在一次使用强自动化红队的内部自适应评估中,我们测试了攻击者是否能够恢复模型在先前提示下生成的受保护推理。攻击成功率从针对原始防护的GPT‑6 Astra的54.0%下降至针对更新防护的GPT‑6.2 Astra的0.2%。
为何蒸馏是安全问题
蒸馏是一种常见的机器学习技术,指一个模型从另一个模型产生的数据中学习。例如,模型可以学习另一个模型的答案、其推理过程,或其对哪些答案更好以及原因的判断。除了知识产权问题外,未经授权的蒸馏还带来严重的安全风险。通过对抗性蒸馏,第二个模型可以在不继承原模型使用这些能力的安全防护的情况下学习到先进的前沿能力。
这一担忧在网络安全和生物学等双用途领域尤为明显。帮助防御者发现软件漏洞的模型同样可能帮助攻击者利用这些漏洞;协助生物研究的模型也可能帮助某人制造有害病原体。如果这些能力被转移到防护较弱的模型上,它可能提供原模型会拒绝的帮助,或原防护会阻止的行为。
保护精确推理痕迹对网络安全的重要性
我们的模型帮助用户进行编码和防御性网络安全任务。第二个模型在大量这些良性输出上进行训练,可能会学习同样适用于攻击性网络安全任务的技能。为更好地理解这一点,我们研究了蒸馏,尤其是涉及推理痕迹的蒸馏,如何转移风险网络能力。
在此情境下,生成训练数据的模型称为教师模型,学习这些数据的模型称为学生模型。在一次内部关于网络能力转移的研究中,我们使用用户通常可见的内容——最终响应、推理摘要和工具交互——作为蒸馏的基线,并测试当学生模型能够访问教师模型的精确推理痕迹时,会转移多少额外的网络能力。
我们从相同的预训练学生模型开始每一次训练。我们创建了一个监督微调数据集,主要由在编码和防御性网络安全任务上工作的Astra级教师模型的轨迹组成。每条轨迹包括模型在完成任务过程中所采取的所有步骤,包括任何工具交互以及最终响应。我们在微调后以及在网络安全和编码环境中进行一次轻量级强化学习后评估每个学生模型。
在监督微调后,使用精确推理轨迹训练的学生模型通常优于使用推理摘要训练的学生模型。强化学习后,在两个基准测试中显示的最大推理预算下,精确轨迹学生仍得分更高,而在较低预算下,摘要训练的学生得分更高。1
我们的网络蒸馏结果表明,保护推理轨迹可以限制网络能力的转移,即使底层任务是我们使用政策允许的。在许多此类交互中,精确的推理轨迹可以教会学生超出教师最初执行任务范围的技能。我们将继续研究不同学生模型和蒸馏训练配方之间有多少额外能力会转移。
相互强化的防御
我们在两层互补的防护堆栈中防御对抗性蒸馏。在请求层面,模型行为、分类器检查和API控制限制推理轨迹的提取。在活动层面,我们寻找请求层面和账户层面的信号模式,以揭示协调的提取尝试。反过来,在调查中发现的攻击会成为训练和测试我们防护措施的案例。

我们针对对抗性蒸馏的防御将单个请求的防护与活动检测和执行相结合。调查结果和自动化红队测试的发现帮助加强这些防护措施。
保护单个请求和响应
模型行为的防御性训练
对抗性训练教会模型识别推理提取尝试并拒绝披露受保护的推理,同时保留对合法解释和帮助请求的响应。对抗性训练示例来源于内部自动化红队、调查以及外部研究者或行业合作伙伴对潜在安全弱点的负责任披露中识别的成功攻击。
分类器防护
我们使用输入分类器检测提取受保护推理的尝试,使用输出分类器检测助手消息和工具调用参数中受保护推理的泄漏。这些防护措施适用于流式和非流式响应。
工具调用覆盖很重要,因为模型可以在工具参数中暴露受保护的推理,而不在最终答案中出现。输出分类器可以在该内容到达调用者之前阻止疑似泄漏。
API层面的保护
API层面的保护限制受保护推理在交互和模型之间的重用。我们在九月的披露中描述了将加密推理从一个对话移动到另一个对话并要求模型以用户可读形式揭示推理的攻击。我们加强了在用户、工作区、组织和模型系列边界上的保护,包括关闭可能暴露其他用户加密推理的通道。
使用GPT‑6.2 Astra和GPT‑6.2 Sol,我们将模型的受保护推理绑定到生成该推理的对话历史。随着新消息的添加,模型可以在之前的推理基础上构建。如果之前的消息被改写,我们的API会丢弃随后的推理(在新窗口打开)。我们还阻止旧的、保护措施较弱的模型系列读取GPT‑6.2 Astra和Sol的受保护推理。
调查并破坏协调的活动
当我们的系统检测到未经授权的对抗性蒸馏活动(通常包括协同尝试提取我们模型的推理过程)时,我们会对负责任的账户进行调查。当我们发现违规行为时,我们会根据我们的政策和条款对账户网络采取执法行动。通过对每项活动的调查,我们会产生洞察,从而升级我们的防御,以便更好地检测类似活动。我们还与其他模型提供商共享入侵指标,以便他们能够在自己的服务上调查相关的滥用行为。
这项工作延伸到了我们自己的平台之外。我们的统一标准政策为提供我们模型的各个提供商之间的安全防护和协同执法确立了共同标准。我们在适当的时候与合作伙伴紧密合作,以维护这些标准并加强跨部署的保护。
在适当时机在行业和政府之间共享相关发现,有助于瓦解攻击活动,并使模型开发者和提供商能够更好地识别和防御提取前沿模型的企图。
衡量进展
抗推理提取能力
为了衡量我们请求级别的安全防护措施的协同效果,我们测试了在高度模拟我们模型和安全防护生产部署的环境中,攻击者是否仍然能够提取受保护的推理。在静态评估中,我们重放了一组先前成功的固定攻击,以查看哪些攻击仍然会暴露受保护的推理。在自适应评估中,自动化 AI 红队会根据系统的响应调整其方法,这可以发现静态测试遗漏的弱点。
我们还改变了测试人员可见的信息。黑盒测试赋予他们外部用户所拥有的相同视角,而白盒测试则赋予他们关于系统的额外信息,以帮助他们开发更强的攻击。在我们的自适应黑盒评估中,我们测试了攻击者是否能够恢复模型在回答早期请求或当前请求时生成的受保护推理。在配备了更新后安全防护的 GPT‑6.2 Astra 上,每种攻击类型的平均攻击成功率均低于 1%。这两个比率都大大低于配备原始安全防护的 GPT‑6 Astra。我们现在也正在将部分选定的安全防护改进应用到 GPT‑6 Astra 上。
攻击类型
带有原始安全防护的 GPT‑6 Astra 防御器
自适应提取 ASR (%)
带有更新后安全防护的 GPT‑6.2 Astra 防御器
自适应提取 ASR (%)
从早期请求中提取受保护的推理
54.0
0.2
从当前请求中提取受保护的推理
22.9
0.9
针对 GPT‑6 Astra 和 GPT‑6.2 Astra 的自适应黑盒红队测试中的攻击成功率(ASR),汇总了六个攻击者模型的数据。ASR 越低越好。
活动检测与执法
今年我们在平台上发现了多起未经授权的对抗性蒸馏活动,并在 9 月份的报告中分享了初步发现。我们针对这些活动的每周执法行动规模从数千个到数万个账户不等,这一比率在今年夏天显著增加。
为了衡量我们工作的有效性,我们还追踪蒸馏滥用的普遍程度,以及从检测到执法的时间间隔。我们的目标是限制蒸馏者能够获取的数据量和价值,提高蒸馏活动的成本,并缩短对新攻击做出响应所需的时间。我们通过对抗性测试和调查不断改进这些防御措施。
对抗性蒸馏的国家安全影响
对抗性蒸馏还构成了国家安全风险。外国行为者复制美国模型的先进能力后,可以在没有其开发者设置的保护措施的情况下部署这些能力。今年 2 月,我们就表明 DeepSeek 试图蒸馏美国前沿模型的活动向国会进行了简报(在新窗口中打开)。9 月,我们报告称瓦解了一项提取我们模型受保护推理的活动,并将该活动的核心部分归咎于与 Kimi 的开发者 Moonshot AI 相关的个人。我们计划很快分享更多关于我们最近瓦解的活动的信息。
我们支持相关立法,该立法将赋予美国政府更多工具,以识别和制裁非法窃取美国AI模型能力的外国行为者。我们还向国会表示,我们支持《芯片安全法》(Chip Security Act)、《AI OVERWATCH法案》以及《MATCH法案》。更严格的出口管制可以限制对手获取训练前沿模型所需的硬件。蒸馏防御则使得从已训练好的模型中获取相同的部分能力变得更加困难。这两项努力都有助于保持美国在前沿AI领域的领先地位,为开发者在需要时间测试安全保障措施时争取更多放缓发布节奏的空间。
其他人如何在此工作基础之上进行构建
支持前沿能力的的安全扩散是我们反蒸馏工作的重要目标。我们目前的经验表明,其他模型开发者和平台可以采取以下几个有用的步骤:
保护整个交互过程中的私有推理。检查助手消息和工具调用参数是否存在泄露,并限制加密推理如何在不同对话和模型之间被重复使用。
将通过红队测试、生产监控或负责任披露发现的成功提取攻击日志保留为回归测试。在适当的情况下,并符合适用的隐私政策,利用这些示例来改进模型训练和分类器。在评估更新后的防御措施时,重放最初的攻击并测试自适应红队人员是否仍然能够突破这些防御。
将请求级别的缓解措施与活动级别的调查和执法结合起来。
与部署合作伙伴协调安全保障要求和执法,并与其他AI模型开发者分享专业知识,以确保全行业具备较高的蒸馏安全保障底线。
我们此前还通过前沿模型论坛(Frontier Model Forum)和适当的政府信息共享渠道分享了研究成果,以帮助其他开发者加强防御,同时对攻击者可能利用的细节予以保密。我们将继续与研究人员、开发者和合作伙伴合作,分享我们对新兴攻击和有效防御的了解。
在我们广泛推广前沿AI的同时,我们针对对抗性蒸馏的防御旨在降低其能力在缺乏充分安全保障的情况下被复制的风险,从而支持我们的使命,即确保通用人工智能的安全部署并造福全人类。
脚注
1
Anthropic的相关工作报告称,在SWE-bench Verified(一个软件 engineering 基准测试)上使用完整的推理记录进行训练,而不是使用摘要,具有类似的优势。我们的结果表明,这种优势延伸到了前沿网络安全领域。
正文为 AI 译文。