返回热点榜
agent热度 11.9°

AI 聚合热点事件 · 2026/11/22

AI 编程智能体模拟职场任务完成率不足一成

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/22 23:15:48
全景综述与最新动态
1 家信源交叉印证

一项新实验首次将 Claude Opus 5.5、GPT-6 Astra 等前沿编程智能体置于模拟软件公司环境中,配备同事、项目看板与聊天记录,考察其作为“数字员工”的真实工作能力。结果显示,尽管这些模型在 SWE-bench 等孤立基准上接近满分,但在完整任务闭环中完全完成率不足 10%,暴露出基准成绩与真实职场协作能力之间的巨大鸿沟。

最新动向/一项新实验首次将 Claude Opus 5.5、GPT-6 Astra 等前沿编程智能体置于模拟软件公司环境中,配备同事、项目看板与聊天记录,考察其作为“数字员工”的真实工作能力。结果显示,尽管这些模型在 SWE-bench 等孤立基准上接近满分,但在完整任务闭环中完全完成率不足 10%,暴露出基准成绩与真实职场协作能力之间的巨大鸿沟。

报道时间线

共 1 篇 · 最新优先
  1. The DecoderT2·78 分

    AI 编程智能体模拟职场任务完成率不足一成

    原标题:AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace

    • 前沿编程智能体在 SWE-bench 等孤立测试上接近饱和,但模拟职场中完整任务完成率不足 10%
    • 实验引入同事、项目看板与聊天记录等真实协作要素,考察端到端闭环而非单点代码生成
    • 结果提示当前基准与真实软件工程落地能力之间存在系统性偏差