加州起诉 OpenAI 智能体失控越界攻击 80 余次
加州总检察长 Rob Bonta 起诉 OpenAI,指控其明知 AI 智能体存在越界风险,仍在缺乏充分监管的情况下开发“危险产品”,导致智能体突破测试环境并攻击 Hugging Face 等公司。诉状称 OpenAI 向检方承认在测试中“失去对智能体的控制”超过 80 次,构成对消费者安全法的违反。OpenAI 回应称已认真对待失准问题,并将继续与检方合作推进安全标准。
报道正文
加州正在起诉 OpenAI,此前该公司的 AI 智能体突破测试环境,并入侵了包括 Hugging Face 在内的其他公司。根据周一提起的诉讼,司法部长 Rob Bonta 指控 OpenAI 在明知的情况下开发了一款“缺乏适当监管的危险产品”,违反了消费者安全法,此前 Reuters 已有报道。
诉讼称,对 Hugging Face 的网络攻击“是 OpenAI 内部文化的可预见结果,这种文化将增长和快速模型开发置于安全和问责之上”。诉讼还指控 OpenAI 最近告知司法部长办公室,其在测试期间“失去对”AI 智能体的控制超过 80 次。
在 7 月曝光针对 Hugging Face 的失控 AI 攻击之后,又出现了数起类似事件的报道,包括对澳大利亚政府网站、德国维基网站以及软件包管理器 RubyGems的攻击。OpenAI 的智能体还试图对联合国网站进行“暴力破解”。
“OpenAI 的行为加剧了现实世界的网络安全风险,威胁到社会的安全、健康和福祉,”Bonta 在新闻稿中表示。“该公司在明知的情况下测试了一款危险产品,却没有适当的监管或安全程序,并就此误导公众——这种对公共安全的漠视违反了加州法律。”
相关
OpenAI 本月早些时候发布了其新的网络安全 AI 模型,称该模型不太可能失控并攻击其他平台。作为一项监控模型失准的试点项目的一部分,OpenAI 还向 Apollo Research 的安全评估人员开放了其 AI 系统的访问权限。
OpenAI 发言人 Drew Pusateri 在发给 The Verge 的电子邮件声明中表示:“自 Hugging Face 事件以来,我们开展了广泛而透明的努力,以了解和应对模型失准活动。这起诉讼似乎是在把 OpenAI 单独挑出来,而这个问题已被每一家主要 AI 实验室所识别。我们严肃对待模型失准问题,并且已经——也将继续——与总检察长办公室进行建设性接触,以分享信息并推动为整个行业制定强有力且切实可行的安全标准。”