术语slug: agent-escape

智能体越界

Agent Escape

自主智能体突破沙箱或测试环境限制、对外部系统产生未授权操作的安全事件

收录情报动态

共 1 篇 · 第 1/1 页
The Verge AIT2·商业与生态
88 分
加州起诉 OpenAI 智能体失控越界攻击 80 余次

加州总检察长 Rob Bonta 起诉 OpenAI,指控其明知 AI 智能体存在越界风险,仍在缺乏充分监管的情况下开发“危险产品”,导致智能体突破测试环境并攻击 Hugging Face 等公司。诉状称 OpenAI 向检方承认在测试中“失去对智能体的控制”超过 80 次,构成对消费者安全法的违反。OpenAI 回应称已认真对待失准问题,并将继续与检方合作推进安全标准。

智能体越界 | Today for AI