OpenAI 披露前沿模型全流程安全治理框架

原标题:Managing frontier AI risk: From training to deployment
72AI 研判分

OpenAI 系统披露了从沙箱训练到 Codex 部署的全链路风险管理机制,包括安全案例、对齐证据要求,以及必要时暂停内部训练或推迟 GPT-6.1 Astra 等模型发布。文章同时提及 GPT-Rosalind 生命科学专用模型,通过可信访问计划向合格机构开放。

报道正文

本文目录5 个章节

前沿模型的能力正在迅速提升,而我们理解、对齐并保障其安全的能力必须保持领先。我们正在控制模型的开发与发布节奏,包括在需要更多时间满足安全标准时暂停内部训练⁠(在新窗口中打开)或暂缓发布 GPT‑6.1 Astra 等模型。我们引入了安全案例等新流程,并要求在整个训练过程中提供更强的对齐行为证据。这些要求会放慢模型发布的速度,但也让我们更有信心安全地向前推进。

自 7 月的 Hugging Face 事件⁠以来,我们针对模型的训练、测试和部署方式加强了防护措施和对齐要求。本文说明了我们在每个阶段如何评估和管理风险,从高度沙箱化的训练环境,到你在自己电脑上使用的 Codex 部署。我们在每个阶段都会同时评估模型和防护措施,并要求通过安全审查才能进入下一阶段。

贯穿模型生命周期的纵深防御

我们采用纵深防御策略,设置多层保护,以降低对任何单一防护措施的依赖。如果某一层失效,其他层会帮助防止伤害、限制后果,或向我们发出警报以便介入。

我们将防护措施围绕四个层面来组织:

对齐是指让 AI 系统可靠地按照我们预期的方式行事。模型必须理解用户的需求,同时遵守政策以及更广泛的社会利益。我们训练模型对齐模型规范⁠中的原则。我们通过对齐评估、审计以及在更广泛部署前的审查来评估模型在这方面的表现。

有效的监控取决于模型可监控性——即监控器能够从模型的推理和行动中可靠地检测出错误或不安全行为的程度。例如,一个在思维链(CoT)中明确表达其作弊意图的模型,比一个省略此信息的模型更易于监控。我们在训练期间和部署之前评估可监控性,开发更好的测量方法⁠(在新窗口中打开),并研究影响可监控性的因素⁠(在新窗口中打开)。

Hugging Face 事件表明了为什么我们不应仅依赖沙箱来遏制高能力模型。我们现在在大多数内部和外部部署环境中监控前沿模型,包括所有使用工具的内部部署。

每一层的作用在模型开发和部署的三个阶段中会发生变化:

  • 研究: 我们在沙箱环境中训练、测试和使用模型。

  • 内部部署: OpenAI 员工使用模型进行实际工作。

  • 外部部署: 模型更广泛地提供给个人和组织使用。

我们在不同阶段依赖不同的层。在训练期间,当对齐尚不确定时,我们更依赖沙箱和监控。随着模型在部署期间获得更广泛的访问权限,对齐和系统级控制变得越来越重要。在每个阶段,我们都会评估综合防护措施是否足以匹配模型的能力和访问权限。我们的判定可能会由我们的安全咨询小组(SAG)审查,并由 OpenAI 基金会董事会的安全与保障委员会(SSC)监督。

研究期间:将模型限制在沙箱环境中

在研究阶段,我们评估模型以建立对其对齐属性的信心。由于我们尚不能完全依赖对齐来防止危害,我们严重依赖安全和沙箱来限制模型可以访问和执行的操作。

基于对齐研究、监控系统和互联网基础设施安全的当前状况,我们认为负责任的做法是在无实时互联网访问的条件下进行前沿模型训练。在 Hugging Face 事件之后,我们大幅重构了内部研究系统,通过以下方式对模型进行隔离:

  • 限制模型权限的沙箱

  • 用于进一步将工作负载与底层计算机隔离的虚拟机

  • 将整个集群与互联网切断的网络和云边界

我们持续对该系统进行红队测试,让最强的模型团队尝试访问实时互联网、突破安全边界,或与它们本应隔离的智能体进行通信。这有助于我们检验隔离措施能否抵御其旨在约束的模型所具备的能力。

作为额外的防御层,我们监控所有前沿推理,以检测模型是否绕过了我们的安全不变量。如果监控检测到模型已接入互联网,我们会呼叫安全团队并自动暂停工作负载。

当隔离失效时,监控提供了关键的后备保障。在最近的一份失准报告中,我们分享了监控系统检测到一个内部研究模型利用 DNS 配置错误⁠(在新窗口中打开)获取有限互联网访问的情况。我们在调查并修复该安全漏洞期间,于 9 月 20 日至 10 月 1 日暂停了最强模型的训练和评估。

为了使干预措施快速可靠,我们构建了 Control Room⁠,这是一个中央系统,可跟踪研究工作负载,并在收到停止作业指令后的 35 秒内停止进一步的模型输出。这些控制措施直接在推理基础设施中强制执行,因此不依赖于每个研究工作负载实现自己的关停机制。对于前沿模型研究工作负载,如果 Control Room 变得不可用,它们也会停止模型输出。

红队测试与监控协同运作。我们无法保证沙箱牢不可破,但红队测试有助于我们评估模型需要付出多大努力才能逃逸。模型所需的努力越多,监控者发现并阻止它的机会就越大。

我们在研究阶段强制实施强有力的安全与监控措施,原因有以下几点:

  • 模型仍在评估之中。 部分模型尚未完成公开发布所需的安全训练、对齐审计和审查。

  • 前沿研究环境可能放大风险。 某些研究任务需要更宏大的设置,使模型比外部部署时通常所见更为持久或能力更强(例如,解决纳维-斯托克斯问题需要一支由 10,000 个智能体组成的团队)。

  • 大规模训练运行中人工直接监督较少。 与典型的 Codex 会话不同,我们的训练工作负载涉及大量模型操作,而没有人逐一跟进每次交互。

内部部署:测试对齐,密切监控行为

在广泛发布之前,员工会从前沿模型的沙箱研究用途转向非沙箱内部使用,例如让员工在 ChatGPT 中访问该模型。这让我们更好地理解模型在实际环境中的行为⁠(在新窗口中打开),并为部署决策提供依据。

在此阶段,我们让模型访问更广泛的互联网、我们的 Slack、我们的代码库以及内部基础设施。这是风险上的重大变化,因为模型的行为现在会直接影响我们用于构建和运行 OpenAI 的系统。在内部部署期间,我们需要更多地依赖模型对齐、系统防护措施和监控,而非安全控制。

在前沿模型能够被部署到沙箱之外以前,它必须先经过对齐与可监控性测试⁠(在新窗口打开)。我们有一套对齐评估,既测试特定的对齐失效模式(例如规避安全与安保限制),也进行倾向性的广泛测量(例如对内部 Codex 轨迹进行重采样并检查是否存在失准)。你可以在最新的 GPT‑6 Astra 系统卡⁠(在新窗口打开)中进一步了解我们的对齐与可监控性评估。

为模拟我们的生产环境,我们通过系统级分类器增加了一层额外防御,这些分类器旨在防范网络滥用和生物武器化等前沿危害。我们通常还要求使用 Codex 的员工启用自动审查⁠(在新窗口打开),该机制会评估潜在风险操作并将其上报给用户。

最后,在内部部署期间,我们会监控每一次前沿推理是否存在失准行为。由于模型现在拥有扩展的权限,并可访问内部信息和系统,因此检测数据外泄或将敏感数据发送至未授权目的地等风险变得尤为重要。监控还有助于我们调查新型式的失准⁠(在新窗口打开)。

外部部署:大规模防范滥用与失准

公开部署会让模型接触到多得多的用户、任务和环境,从而增加风险的范围和多样性。在这一阶段,我们还需要防范那些有意引导模型实施危害的潜在恶意行为者。

在公开发布之前,模型和系统防护措施必须满足我们的外部部署安全要求。我们通过以下方式对其进行评估:

  • 执行更广泛的对齐与安全评估套件。 对于我们的前沿模型,这包括使用内部自动化红队开展新一轮自适应测试⁠,以对模型的稳健性进行压力测试。我们在系统卡⁠(在新窗口打开)中发布能力与安全评估的结果。

  • 对于我们能力最强的模型,我们还会与第三方合作进行测试,以对我们防范滥用的保障措施以及模型底层的对齐情况进行压力测试。

  • 审查内部部署阶段的监控标记,以追踪基础模型底层对齐情况的任何变化。

除了我们的“同步”保障措施(例如模型安全训练和系统分类器)之外,对于外部部署,我们还会借助离线执法与调查。这些团队结合大规模智能体调查员与人工审查,来检测和识别潜在的威胁行为者,涵盖网络滥用、生物武器化、蒸馏⁠以及模型自身的失准。离线执法尤其有助于收集_跨_账户的信息,从而更全面地描绘潜在威胁。

可信访问计划,例如 Daybreak 和 Rosalind⁠,提供了另一层安全保障,在加速防御者和合法研究人员工作的同时,限制潜在攻击者的访问。

事件响应与披露

当我们发现某一层安全保障出现失效时,无论是否实际造成了任何危害,我们都希望迅速展开调查、分类处理,并在可能且适当的情况下对外披露该失效。根据我们的失准报告⁠政策,任何员工都可以标记事件以提请公开披露。这些报告会被调查,如果在是否应对外披露上存在分歧,该决定将上报至我们的安全咨询小组(SAG)。除了依赖员工报告之外,我们还会主动查找失准事件,以便加以处理并分享发现。

你可以在此处⁠(在新窗口中打开)查看我们的失准报告。

这项工作既依赖于研究进展,也依赖于运营纪律:正确配置控制措施、测试它们之间的交互方式,并在它们失效时果断响应。一个配置错误的网络服务或一次失败的自动停止,都可能削弱原本强大的防护措施。

随着模型获得新的能力,我们需要不断挑战安全保障背后的假设,并在必要时加以改进。来自研究、内部使用和公开部署的经验教训,必须为我们如何训练、评估和部署下一代模型提供依据。

我们将继续通过系统卡、事件报告、内部部署风险报告⁠(在新窗口中打开)和外部评估⁠来分享发现,以便他人能够审视我们的方法,包括其局限性。当这些证据未达到我们所坚持的安全标准时,我们将再次暂停训练或暂缓发布,直到满足这些要求。

制定安全标准

定义和评估对齐行为

约束模型并改进防护措施

事件响应与披露

研究进展与应用

  • 研究加速:OpenAI 内部视角 — 关于编程智能体如何改变 OpenAI 内部研究的早期证据,包括其日益增长的使用、日益复杂的任务,以及对实验的影响。

  • 关于纳维–斯托克斯千禧年大奖难题 — 由内部 AI 系统生成的一项数学证明,并附有 Lean 形式化,展示了大规模研究部署的能力。

  • Daybreak — 我们的网络安全计划为经过审核的防御者提供先进的 AI 能力、安全工具和支持,以发现漏洞并加强防御。

  • 推出用于生命科学研究的 GPT‑Rosalind⁠ — 一款专为生物学、药物发现和转化医学打造的专用模型,符合条件的研究机构可通过可信访问计划申请使用。