新智元 (微信公众号)T2·74 分
六大前沿模型控制机械臂全部触发语义风险
原标题:GPT控制机械臂太危险!把菜刀悬在人手上,手机丢进水里
- 六个前沿大模型在 RoboRisk 基准上全部出现语义级危险行为,传统避障约束无法覆盖
- LEASH 护栏使四个模型在真机任务中实现零伤害
- 论文与代码均已开源,可复现评测
AI 聚合热点事件 · 2026/11/17
西浦、昆杜、NUS 等多校联合提出机器人安全基准 RoboRisk 与安全护栏 LEASH,测试 GPT、Claude、Gemini、Grok 等六个前沿模型直接控制机械臂时的语义级安全表现,结果全部「踩雷」,出现把菜刀悬在人手上、把手机丢进水里等危险动作。接入 LEASH 后,四个模型在真机任务中实现零伤害,揭示传统避障式安全约束无法覆盖语义层面的危险。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:GPT控制机械臂太危险!把菜刀悬在人手上,手机丢进水里