工具slug: swe-bench-tool

SWE-bench

评估大模型解决真实 GitHub 软件工程问题的基准测试集

收录情报动态

共 1 篇 · 第 1/1 页
The DecoderT2·智能体与协同
78 分
AI 编程智能体模拟职场任务完成率不足一成

一项新实验首次将 Claude Opus 5.5、GPT-6 Astra 等前沿编程智能体置于模拟软件公司环境中,配备同事、项目看板与聊天记录,考察其作为“数字员工”的真实工作能力。结果显示,尽管这些模型在 SWE-bench 等孤立基准上接近满分,但在完整任务闭环中完全完成率不足 10%,暴露出基准成绩与真实职场协作能力之间的巨大鸿沟。