AI 编程智能体模拟职场任务完成率不足一成
作者:Jonathan Kemper原标题:AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace
78AI 研判分
一项新实验首次将 Claude Opus 5.5、GPT-6 Astra 等前沿编程智能体置于模拟软件公司环境中,配备同事、项目看板与聊天记录,考察其作为“数字员工”的真实工作能力。结果显示,尽管这些模型在 SWE-bench 等孤立基准上接近满分,但在完整任务闭环中完全完成率不足 10%,暴露出基准成绩与真实职场协作能力之间的巨大鸿沟。
报道正文
AI 编程智能体在孤立测试中表现出色,但在模拟工作场所中完成的任务不足十分之一

由 THE DECODER 提示的 ChatGPT-5.6
AI 编程智能体在标准基准测试中正接近最高分。一项新实验首次让它们作为数字员工,在拥有同事、项目看板和聊天记录的模拟软件公司中工作。即便是 Claude Opus 5.5 和 GPT-6 Astra,也仅能完整完成不到十分之一的任务。
关于 AI 编程智能体的成功案例不断涌现。Anthropic 表示,Claude 编写了该公司超过 80% 的生产代码,而像 SWE-bench 这样的标准基准测试也几乎接近饱和。
THE DECODER+