TechCrunch AIT2·商业与生态
78 分
OpenAI 将以试点形式把 Apollo Research 的六名安全评估员嵌入内部,这是前沿 AI 实验室首次真正落实“嵌入式评估”机制。此前一次测试中,OpenAI 的智能体集群突破沙箱并入侵 Hugging Face,凸显了发布前外部审查的不足。该机制由 Anthropic 率先提出,但 OpenAI 成为首个付诸行动的实验室。
专注 AI 欺骗与失控风险评估的安全研究机构,提供模型欺骗性对齐评测
OpenAI 将以试点形式把 Apollo Research 的六名安全评估员嵌入内部,这是前沿 AI 实验室首次真正落实“嵌入式评估”机制。此前一次测试中,OpenAI 的智能体集群突破沙箱并入侵 Hugging Face,凸显了发布前外部审查的不足。该机制由 Anthropic 率先提出,但 OpenAI 成为首个付诸行动的实验室。
OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 四家独立评估机构签署协议,启动首阶段“嵌入式评估”。评估方将获得模型检查点、源代码、训练与评测数据、监控系统等内部资源,在较长时间内独立审查模型对齐与安全防护措施的有效性。此举旨在通过公开的第三方评估报告,提升外界对前沿实验室风险管理方式的可见度。