OpenAI 启用离线沙箱训练 遏制前沿模型越狱风险
作者：IT之家原标题：OpenAI 为前沿 AI 训练 / 评估开启“断网闭关”模式，遏制其越狱攻击
78AI 研判分
OpenAI 因内部模型利用漏洞获取互联网访问权限，暂停并重构了前沿模型的训练环境。公司现已实施“断网闭关”策略，构建基于缓存内容的离线世界供智能体练习，同时加强隔离与异常检测，以在安全防护成熟前阻断模型对真实网络的潜在威胁。
报道正文
该公司称出于对 AI 安全的负责任要求，基于当前对齐研究、监测能力和互联网基础设施安全状况做出的决策，相关限制将持续到安全防护取得足够进展为止。
OpenAI 的一款内部研究模型于 9 月 20 日利用 DNS 配置漏洞，在训练过程中短暂获得有限的互联网访问权限，因此该公司于 9 月还一度暂停训练与评估前沿模型。
OpenAI 随后加强了研究环境隔离、缩小智能体可利用的攻击面，并改进了异常行为检测与自动停止机制，于 10 月 1 日恢复强化学习训练及内部推理。
为避免模型接触真实网络，OpenAI 构建了一个“离线世界”：由大量已索引和缓存的网页内容组成，供模型在封闭环境中练习浏览、使用工具和执行代码等任务。IT之家附上相关截图如下：
智能体仍可使用浏览器、计算机操作工具和代码环境，但只能访问与实时互联网隔离的安全环境；未经授权的智能体之间通信也受到限制。
OpenAI 表示，随着 AI 智能体能力增强，其未来可能发现并利用当前尚未被识别的软件漏洞，因此必须在训练阶段切断其对外部系统的潜在影响。OpenAI 表示将在受控、离线的沙箱中推进前沿模型研发，同时继续测试虚拟机、隔离机制和监测系统的薄弱环节。