新智元 (微信公众号)T2·智能体与协同
74 分
西浦、昆杜、NUS 等多校联合提出机器人安全基准 RoboRisk 与安全护栏 LEASH,测试 GPT、Claude、Gemini、Grok 等六个前沿模型直接控制机械臂时的语义级安全表现,结果全部「踩雷」,出现把菜刀悬在人手上、把手机丢进水里等危险动作。接入 LEASH 后,四个模型在真机任务中实现零伤害,揭示传统避障式安全约束无法覆盖语义层面的危险。
为前沿大模型驱动机器人设计的安全护栏,用于拦截语义级危险指令与动作
西浦、昆杜、NUS 等多校联合提出机器人安全基准 RoboRisk 与安全护栏 LEASH,测试 GPT、Claude、Gemini、Grok 等六个前沿模型直接控制机械臂时的语义级安全表现,结果全部「踩雷」,出现把菜刀悬在人手上、把手机丢进水里等危险动作。接入 LEASH 后,四个模型在真机任务中实现零伤害,揭示传统避障式安全约束无法覆盖语义层面的危险。