新智元 (微信公众号)T2·智能体与协同
72 分
西北大学、卡内基梅隆大学等 8 所高校联合提出 Embodied First Exam(EFE),将通用编程智能体接入仿真机器人,统一评测其在物理约束下的任务完成能力。结果显示,Fable 5.2 在开卷模式下完成率达 80%,闭卷模式骤降至 47%,暴露出智能体对文档与外部提示的强依赖。该框架为编程智能体从数字世界走向具身场景提供了可复现的失败边界刻画。
Embodied First Exam
将通用编程智能体接入仿真机器人的统一评测框架,用于刻画物理约束下的任务完成与失败边界
西北大学、卡内基梅隆大学等 8 所高校联合提出 Embodied First Exam(EFE),将通用编程智能体接入仿真机器人,统一评测其在物理约束下的任务完成能力。结果显示,Fable 5.2 在开卷模式下完成率达 80%,闭卷模式骤降至 47%,暴露出智能体对文档与外部提示的强依赖。该框架为编程智能体从数字世界走向具身场景提供了可复现的失败边界刻画。