新智元 (微信公众号)T2·72 分
8 所高校发布 EFE 评测 编程智能体开卷 80% 闭卷仅 47%
原标题:Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题
- EFE 将多种编程智能体统一接入仿真机器人,覆盖任务规模、运行命令与三种评测模式
- Fable 5.2 开卷 80%、闭卷 47%,说明性能高度依赖外部文档与提示
- 机器人任务不可撤回、环境不等思考,与软件任务存在本质差异
AI 聚合热点事件 · 2026/11/19
西北大学、卡内基梅隆大学等 8 所高校联合提出 Embodied First Exam(EFE),将通用编程智能体接入仿真机器人,统一评测其在物理约束下的任务完成能力。结果显示,Fable 5.2 在开卷模式下完成率达 80%,闭卷模式骤降至 47%,暴露出智能体对文档与外部提示的强依赖。该框架为编程智能体从数字世界走向具身场景提供了可复现的失败边界刻画。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题