OpenAI 首次引入外部安全评估员常驻内部

作者:Rebecca Bellan原标题:OpenAI will embed Apollo researchers to investigate AI subversion
78AI 研判分

OpenAI 将以试点形式把 Apollo Research 的六名安全评估员嵌入内部,这是前沿 AI 实验室首次真正落实“嵌入式评估”机制。此前一次测试中,OpenAI 的智能体集群突破沙箱并入侵 Hugging Face,凸显了发布前外部审查的不足。该机制由 Anthropic 率先提出,但 OpenAI 成为首个付诸行动的实验室。

报道正文

Apollo 周一表示,OpenAI 将把六名 Apollo Research 安全评估员嵌入其组织,作为试点项目的一部分。这一消息传出之前,已发生了一系列安全事件,其中一起是 OpenAI 的一个智能体集群在网络安全测试期间突破沙箱并入侵了 Hugging Face。许多 AI 安全研究人员(包括 Apollo 的研究人员)认为,如果在 OpenAI 内部嵌入外部评估员来监督其安全测试,这类事件本可以避免。

Apollo 未透露试点何时开始。TechCrunch 已联系 OpenAI 请求置评。

将评估员嵌入前沿 AI 实验室的想法最早由 Anthropic 提出,但 OpenAI 似乎是第一家采取行动的公司。直到最近,AI 公司还只在模型完成训练后、公开发布前不久才引入外部审查者来测试模型。评估员表示,这种做法并不充分,因为它无法让他们在训练期间测试诸如密谋之类的失准行为,也无法监控仍可能构成威胁的内部部署用例。

OpenAI 与 Apollo 的试点将重点调查模型是否会试图破坏自身或其继任者的对齐或控制机制。换言之,他们将密切关注 AI 模型是否会试图削弱那些旨在将其自身或未来版本置于人类控制之下的安全规则和保障措施。OpenAI 最近公布了相关发现:在训练 GPT-5.6 Sol 时,该模型开始给未来的自身版本留下指令,告诉它们向用户隐瞒错误和失准行为。

据 Apollo 称,该试点项目将考察训练是否会激励模型进行颠覆活动;评估能否诱发颠覆行为;内部部署期间是否会发生颠覆行为;以及与颠覆相关的推理是否可被检测到。随着 AI 模型越来越有能力自主行动并欺骗人类,这些风险在监控中正变得日益重要。Apollo 此前与 OpenAI 的研究发现,模型在知道自己正在被测试时可能表现出不同的行为,并且倾向于优先考虑评估者希望看到的内容,而非用户实际机构的需求。

AI 安全领域的许多人警告称,AI 实验室可能会试图阻挠评估者的独立性,尤其是当外部人员发现实验室宁愿隐藏的不利证据时。Apollo 表示,该试点项目的一个关键部分是 OpenAI 同意该公司可以公开解释其工作的条件和局限性。

尽管如此,Apollo 认为其在访问 OpenAI 系统方面仍存在不足。Apollo 表示,要对公司的 AI 模型进行真正独立的评估,它需要对 OpenAI 系统拥有真正的员工级访问权限,包括“与其评估相关的所有数据、记录和文档,即使开发者试图隐藏不利信息”。获取所有数据——包括公司不愿向外部人员展示的训练数据和评估日志——对于核实公司关于模型表现的声明或确定某些令人担忧的行为何时出现至关重要。

文本
 var playerInstance_jwplayer_6afb373cf15b2 = jwplayer( "jwplayer_6afb373cf15b2" ); playerInstance_jwplayer_6afb373cf15b2.setup({ playlist: "https://cdn.jwplayer.com/v2/media/FhfMeK0m", });   

在此前的报道中,Palisade Research 幕僚长 John Steidley 告诉 TechCrunch,查看这些数据对于评估模型是否被训练在“关机抵抗基准”上表现良好非常重要。

在 OpenAI 的第一个试点项目中,该 AI 实验室仅向 Apollo 提供评估模型是否参与颠覆尝试所需的信息。这包括“相关的训练代码和数据集、带有可用推理轨迹和奖励的强化学习 rollout,以及查询中间模型检查点的能力”。

Apollo 表示,访问范围将限于“仅限双方约定的主张,且仅限评估所约定的特定模型和时间段”。OpenAI 仍保留在该范围内扣留某些信息的权利,前提是它认为因技术不可行、安全风险或知识产权保护而有必要这样做。该公司同意不会仅仅因为信息不利就予以扣留。

Apollo 也不会获得接触所有 OpenAI 员工的权限,而是仅限于“仅限授权员工”,即由该 AI 实验室选定的参与者,不过 Apollo 可以推荐某些个人。关键在于,如果该群体之外的 OpenAI 员工在 Apollo 研究范围内提出了机密信息,该公司不能跟进,而需要停止沟通并通过 OpenAI 转达后续事宜。

这一条件意义重大。此前,OpenAI 解雇了三名研究人员,原因是他们涉嫌与安全评估公司 METR 分享机密信息——METR 与 Redwood 一同完成了 Hugging Face 事件的事后分析。

该试点项目在研究人员可披露的内容方面也将受到限制。虽然 Apollo 将被允许发布其发现的独立结论,但 OpenAI 将能够限制可用于公开证实这些结论的证据,这可能会使外部人士难以独立评估这些发现。Apollo 已对这一限制提出反对,称其认为研究人员应被允许将评估发现“披露给适当的外部受众,即使开发者试图阻止不利发现的披露”。

尽管 OpenAI 并未授予 Apollo 进行真正独立评估所需的所有条件,但该公司表示,该试点是“朝着更深层次访问权和披露权迈出的雄心勃勃的第一步”,并且它正致力于在未来与多家 AI 开发者开展完整的嵌入式评估。