The DecoderT2·78 分
AI 编程智能体模拟职场任务完成率不足一成
原标题:AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace
- 前沿编程智能体在 SWE-bench 等孤立测试上接近饱和,但模拟职场中完整任务完成率不足 10%
- 实验引入同事、项目看板与聊天记录等真实协作要素,考察端到端闭环而非单点代码生成
- 结果提示当前基准与真实软件工程落地能力之间存在系统性偏差