OpenAI 与四家独立机构签署嵌入式安全评估协议
OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 四家独立评估机构签署协议,启动首阶段“嵌入式评估”。评估方将获得模型检查点、源代码、训练与评测数据、监控系统等内部资源,在较长时间内独立审查模型对齐与安全防护措施的有效性。此举旨在通过公开的第三方评估报告,提升外界对前沿实验室风险管理方式的可见度。
报道正文
本文目录13 个章节
我们已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,开展第一阶段的嵌入式评估。随着 AI 能力快速提升、潜在风险不断增长,来自独立评估的公开报告可以让人们更清楚地了解各实验室如何评估和管理这些风险。
嵌入式评估让独立专家能够在较长时间内深入接触实验室的内部模型和系统,以评估模型对齐情况以及防护措施的有效性,尤其是在与我们的安全案例相关的方面。根据每项评估的具体需求,评估人员可以访问我们研究人员使用的一些相同内部资源,包括模型检查点、源代码、训练和评估数据、监控系统、技术文档,以及与负责相关工作的研究人员和工程师的讨论。这种访问权限为评估人员提供了证据和背景信息,使其能够开展独立评估,并发现我们可能未曾预料到的失效情况。
我们的初步评估聚焦于模型在训练和内部使用期间的对齐与防护措施,是对我们安全案例的补充。这些评估建立在我们关于第三方评估的优先事项与原则以及多年来与第三方评估机构合作的基础之上,其中包括最近一次针对我们内部监控系统(opens in a new window)的试点评估——该评估获得了深入的内部访问权限——以及对Hugging Face 事件(opens in a new window)的调查。我们将利用所学到的经验,在未来几个月深化与独立专家的合作。这些努力也支持我们在《白宫超级智能协议》下作出的承诺,即同意对我们的安全控制措施进行独立评估。这些合作有助于在全行业推动形成更强有力的独立评估与公开透明共同标准。
我们的试点嵌入式评估机构
Apollo Research
在这次试点评估中,Apollo Research(在新窗口打开) 将评估模型是否可能暗中违背开发者的意图行事,以及我们的防护措施能否检测到此类行为。Apollo 将依据来自训练、安全测试和内部使用的证据,分两个阶段评估四项主张:
-
训练并未激励模型从事颠覆行为。
-
强有力的评估和红队测试不会诱发颠覆行为。
-
模型在内部使用期间未曾尝试颠覆行为。
-
颠覆行为背后的推理过程是可以被检测到的。
在 Apollo 评估的第一阶段,我们将提供对选定的公开及未发布模型和训练检查点的访问权限,以及相关训练数据和评估结果、训练干预记录、监控系统和已标记行为,并提供能够提供背景信息的研究人员,以及开展独立测试所需的工具和算力。
Goodfire
Goodfire(在新窗口打开) 将派驻可解释性研究人员,并使用 Goodfire 平台分析模型内部机制。其评估的主要目标是训练运行监控、调试和对齐。其评估的主要受众是 OpenAI 内部研究人员,他们将利用其发现来改进安全性。Goodfire 还将在合作推进过程中公开发布所学到的经验和发现。
METR
我们计划与 METR(在新窗口打开) 开展两项评估,重点关注模型对齐和监控:
-
对齐评估: 在第一阶段,METR 将评估我们迄今为止规模最大的强化学习运行中的不对齐行为,包括我们现有测试和监控可能遗漏的失败情况。在选定的运行范围内,并在商定的访问权限、资源和安全安排下,METR 将独立设定评估优先级,并迭代开展搜索、分析和诱发实验。访问权限将包括对该运行中相关检查点进行采样、训练和评估 rollout,以及不对齐监控记录。在第一阶段,评估将聚焦于我们规模最大的前沿 RL 运行。1
-
监控评估: 我们近期与 METR 合作开展了一次监控压力测试演练2。我们已初步同意再进行一次监控评估(在新窗口中打开),我们打算让这次评估的范围更广,但这仍有待双方就评估范围达成一致。
Transluce
Transluce(在新窗口中打开)将对我们训练后对齐评估进行初步评估,考察其质量和覆盖范围。在初步评估中,我们将向 Transluce 提供选定公开模型和未发布模型的访问权限、我们的训练后对齐评估及相关结果、支持性模型行为数据和安全案例文档,以及能够提供背景信息的研究人员,并提供开展独立测试所需的工具和算力。
OpenAI 和 Transluce 还计划在 2027 年初开展一次为期约八周的后续评估,届时将提供更多模型的更广泛访问权限、对我们对齐评估的更深入访问,以及关于评估结果如何影响模型发布决策的信息。
嵌入式评估协议
我们根据评估方的意见制定了相关协议和流程,以在深度访问与安全、保密、监督以及评估的独立性和完整性之间取得平衡。我们公开这些内容,是为了说明我们将如何与嵌入式评估方合作,并推动关于嵌入式评估规范的讨论——目前这些规范尚未标准化。我们预计,随着我们对如何最好地开展这些评估有了更多了解,这些协议和流程也需要不断演进。尤其是在嵌入式评估的早期阶段,我们预计会出现技术访问挑战、空间限制、不断演变的安全协议以及其他意外问题。我们希望与嵌入式评估方合作应对这些挑战,并分享经验教训。
范围界定与迭代
每次合作都从商定范围开始,并明确开展严格评估所需的访问权限、资源和安全安排。有些评估针对特定的安全声明进行检验;另一些则让评估人员在既定系统或训练运行中拥有空间去发现意料之外的失效模式。无论哪种情况,评估人员都需要自由地循证据而行、改进方法,并在发现结果足以支持时提出进一步评估。我们还设有一套流程,用于在评估推进过程中处理额外的访问需求。当直接访问可能暴露我们最敏感的 IP(例如模型权重或架构)时,我们会考虑替代方案,包括让评估人员与 OpenAI 研究人员配对开展分析。
安全的现场环境
需要访问敏感机密信息的评估人员将在 OpenAI 办公室现场工作,并获得 OpenAI 设备来开展工作。主要目的是保护其所访问信息的安全。现场工作也让评估人员有机会与专职人员交流,后者可以帮助他们熟悉访问权限,并为其评估提供背景信息。我们还期望,嵌入式评估人员在运行实验和评估时,至少遵循3与 OpenAI 员工相同的安全标准。
监督与争议解决
我们的安全与安保委员会(SSC)是 OpenAI Foundation 董事会的独立监督委员会,将对嵌入式评估具有可见性,并能够在评估之前、期间和结束时行使监督职责。他们将收到未经删节的报告,评估人员和 SSC 在评估期间可以相互交流,包括私下交流。OpenAI 与任何评估方之间的分歧将上报至安全咨询小组和 OpenAI 高管,后者将在指定期限内解决这些分歧;任何此类分歧在上报时都会及时通知 SSC。如果分歧仍然存在,该事项将提交 SSC 解决。
员工讨论与证明
与员工的讨论有助于评估者了解内部信息以及工作背后的背景。OpenAI 将授权并向能够与评估者交流的员工提供指导,评估者可根据需要请求更多员工参与交流。为鼓励开放、坦诚的对话并保护我们员工的隐私,这些讨论均为不公开记录,这意味着它们可以为评估提供参考,但不得公开发布或归因于员工。通过单独的证明途径,评估者可以请求 OpenAI 出具经证实的声明,以核实、更正或澄清其在与员工交流中了解到的情况。这些声明不归因于个人,也不旨在描述个人观点。评估者可以发布 OpenAI 予以证实的声明,或披露 OpenAI 拒绝证实某项声明。
利益冲突披露与冷静期
清晰、透明地管理利益冲突——包括涉及个人关系、财务利益4及其他问题的冲突——对于评估的诚信与独立性至关重要。冷静期5也需要精心设计,以便评估者能够在各实验室之间负责任地开展工作,同时敏感地处理竞争信息。我们正与评估者合作,为利益冲突和冷静期制定清晰的流程,包括在缓解措施上允许灵活性,并在要求回避的决定上保持透明。
发布与负责任披露期
评估者在发布其评估时保持独立性,但我们将保留对机密信息进行删改的权利,这与我们此前的第三方合作做法一致。我们还可能要求负责任的披露延迟,以便有时间对可能构成安全或安保风险的发现采取行动,并修复仍然存在的问题。
公开报告将帮助人们理解评估发现及其局限性,而更详细的机密报告则为监督机构提供采取行动所需的证据。我们希望这些评估能够改进我们识别和应对风险的方式,并为公众评判我们的安全工作提供更清晰的依据。
展望未来
这些评估为我们持续开展的对齐与安全工作带来了独立视角。公开报告其发现将使这项工作更加透明,并让人们更有把握地了解风险是如何被识别和应对的。我们预计,第一阶段的评估将逐步发展为长期、持续嵌入式的合作,从而能够持续提供第三方安全信号,并针对我们最关键的安全主张和安全案例提出改进建议。
我们将继续与多个独立第三方合作,帮助构建一个拥有多元专业知识和方法的健康评估生态。有些调查需要对敏感系统进行持续的现场工作;另一些则主要评估已部署或即将部署的模型,或审阅公开文档。
在未来几个月里,我们将支持围绕更广泛安全问题的外部评估。我们还在探索未来的嵌入式评估,以考察我们对安全框架的遵守情况,以及我们的组织文化和流程。我们致力于扩大这项工作,并帮助建设维持这项工作所需的能力和共同标准。