OpenAI 构建 Control Room 35 秒内熔断模型任务

随着我们的模型能力越来越强，相关的安全与安保风险也越来越大，能够检测潜在问题并在需要时迅速中止模型运行，正变得越来越关键。为解决这一问题，我们构建了 Control Room。

Control Room 是一个中央系统，用于跟踪我们研究基础设施中的模型工作负载，并在出现安全或安保问题时迅速将其停止。它连接了每一个研究推理工作负载，包括用于模型训练和评估的智能体采样、数据处理等。它与我们的失准监测系统协同工作，可在做出干预决定后 35 秒内停止模型输出，以停止或暂停某个作业。它的设计目标是即使其他系统发生故障也能继续工作，并且在 Control Room 自身宕机时也能停止模型输出。

Control Room 已部署在我们需求最为迫切的研究基础设施中。我们的外部模型服务栈本身已经高度集中化，并具备完善的运维能力，可在需要时迅速下线模型部署。

工作原理

Control Room 通过集成几个系统来工作：工作负载、推理引擎，以及集中式的 Control Room 服务。

• _工作负载_是正在运行的作业，例如强化学习实验、评估、大规模采样或数据处理作业。我们要求每一个执行智能体推理的研究工作负载都必须关联一个经过批准的安全案例。

• 推理引擎，或简称_引擎_，就是模型本身。你可以把引擎理解为模型的大脑，直接运行在 GPU 上。一个工作负载通常使用一个或多个模型，这些模型可能运行在一个或多个不同的推理引擎上。同一个推理引擎也可能被多个不同的工作负载使用。

• _Control Room 服务_跟踪作业，并控制它们是否被允许继续生成模型输出。引擎在满足请求之前会先向 Control Room 服务进行确认。如果某个作业已被停止，该服务会拒绝请求，从而阻止进一步输出。

Control Room 的集成方式如下：

• 启动新作业时，工作负载代码会向 Control Room 请求一个新的 job_id。

• 每当工作负载需要从模型采样 token 时，它会向运行该模型的推理引擎发起请求，并传递 job_id。引擎会向 Control Room 请求许可来满足该请求，并将 job_id 一并传递给 Control Room。

• Control Room 会检查该任务是否已被终止，如果已终止，则拒绝该推理请求。引擎会以拒绝响应工作负载的推理请求，从而阻止该任务继续产生模型输出。

Control Room 的工作原理

第 1 步

研究人员决定启动一个任务

流程始于研究人员启动一个任务——例如，一个实验或一次评估。

01 / 13

示例：对监控警报做出响应

我们所有的前沿强化学习任务都在监控器下运行。监控器 是另一个模型，它会检查正在训练的模型所做的一切，并在检测到问题时发出警报。例如，我们最近的 DNS 相关事件⁠（在新窗口中打开） 就是由监控器发现的。

Control Room 与我们的监控系统按以下方式集成：

• 如果监控系统检测到潜在问题，根据具体细节和严重程度，监控系统可能会决定停止该任务。

• 在这种情况下，监控系统会向 Control Room 发送消息以停止该任务，并传递 job_id。Control Room 会记录该任务已终止。

• 下次具有该 job_id 的任务向运行在任意引擎上的任意模型发起推理请求以采样更多 token 时，该请求将被拒绝，从而阻止进一步的模型输出。

速度与可靠性

从 Control Room 收到停止任务的指令，到进一步推进不再可能发生，这之间的最长时间为 35 秒。这 35 秒的延迟来自推理授权的缓存层，以支撑所需的流量规模。我们正在努力将这个数字降至零，以便能够即时终止任务。

工作负载（包括实验、评估任务等）通常由研究人员或研究团队拥有和运营。因此，工作负载代码经常变化，并不是实现关键承载性安全保护的理想位置。正因如此，我们的实现被设计为能够抵御有缺陷或损坏的工作负载代码。

我们通过在推理层实现终止机制来达成这一目标。工作负载代码高度多样且分散。相比之下，OpenAI 所有研究中使用的推理代码路径数量非常少，且其部署更加集中和统一。这意味着推理层可以充当瓶颈，使我们能够获得强有力的保证：研究中的所有模型推理在每个推理请求上都要经过 Control Room 的授权检查。我们还持续运行智能体式和程序化的扫描，以检查用户是否意外或恶意启动了未实现或禁用 Control Room 的违规引擎实现。

最后，我们的系统采用“故障关闭”机制，这意味着引擎中的 Control Room 集成配置为：如果 Control Room 服务因系统错误或任何其他原因（包括恶意行为者的篡改）而宕机或被禁用，则所有推理请求都将被拒绝，直到 Control Room 恢复正常运行。故障关闭机制现已推广至所有前沿模型研究工作负载，并将在未来几天内完成对所有剩余研究工作负载的推广。

Control Room 只是我们实现安全前沿模型训练和部署的整体方法的一部分。未来几个月，我们将继续加强和扩展该系统，同时加大对失准行为和安全漏洞的监控投入。如果你想帮助构建安全可靠的 AGI 开发和部署系统，我们正在招聘！