Rohan Paul (@rohanpaul_ai)T2·78 分
SWE-CoWork 基准发布 智能体完整交付率不足 8%
原标题:Coding-agent benchmarks are starting to look like a new hire’s first week.
- 82% 的需求由模拟队友掌握,智能体需主动沟通才能明确任务,考验信息获取而非单纯写码能力
- 最强模型单项检查通过率约 63%,但 101 个任务中完整交付不足 8 个,端到端完成率是主要瓶颈
- 基准覆盖 101 个真实开源仓库、26 个模拟队友、11 种语言、12 个应用领域与 17 种职场工具