阿里等机构新基准：编程智能体仅约四分之一任务可全自动完成

在真实世界测试中，AI 编程智能体仍有近四分之三的任务需要人工清理

  [Jonathan Kemper](https://the-decoder.com/author/jonathan-kemper/) [查看 Jonathan Kemper 的 LinkedIn 个人资料](https://www.linkedin.com/in/jonathankemper/)   2026年11月8日      

由 THE DECODER 提示的 ChatGPT-5.6

来自阿里巴巴和几所亚洲大学的研究人员基于真实用户变更请求构建了一个编程智能体基准测试。即便是最好的模型也仅能完全完成约四分之一的任务，这让旧测试中近乎完美的分数显得耐人寻味。

该团队开发了 Co-Design Bench，这是一项针对编程智能体的新测试。智能体必须根据用户请求改造现有的 Web 应用，有时还需要以图像、录音、视频或文档作为输入。

根据论文，在测试的十个模型中表现最好的 GPT-6 Astra 平均能满足约 70% 的任务要求。但结果仅在 26.4% 的任务中完全正确。在大多数情况下，智能体完成了大部分工作，但至少留下一处细节未完成，因此使用这些工具的人几乎总是需要手动清理。

编程基准测试对智能体来说已变得过于简单

作者通过指出现有基准测试的饱和来为这项新测试辩护。当模型能够运行、检查和修复自己的代码时，它们在这些测试上的得分会超过 99%，模型之间的差异几乎无法衡量。

在 WebCompass-edit 等旧基准测试上，智能体编程模型达到近乎完美的分数，而 Co-Design Bench 则留下了超过 35 个百分点的差距。| 图片：Wei 等

Co-Design Bench 转而采用来自真实编程会话的实际请求。研究人员更倾向于选择那些用户不得不反复改写请求或回滚更改的案例，因此该测试主要包含在实践中已经给 AI 智能体带来麻烦的任务。这些任务的范围从小的调整——比如从收据中提取金额并更新所有依赖的总计——到完整的项目改造。

在多模态赛道中，智能体需要从收据、表格或视频中提取数值，并一致地更新所有依赖视图。 | 图片：Wei 等

评分同样严格。一名 AI 评审员在浏览器中测试完成的应用程序，随后第二名评审员会复核每一个正面判定，并查找是否存在模拟界面或硬编码结果。只有真正在应用中生效的功能才能得分。

单个任务中包含多种更改类型会让模型不堪重负

在 GPT-6 Astra 之后，Claude Opus 5 和 Qwen3.8-Max 占据接下来的位置，而 Grok 4.6 则排在最后。在更大规模的改造任务中，规模小得多的 Qwen3.8-27B 攀升至第二位，但作者并未从这一结果中得出该模型具有普遍优势的结论。

当一项任务结合了更多类型的更改——包括布局、设计、交互和内容——时，所有模型的表现都会下降。但这些相互交织的需求在真实项目中是常态

一旦任务要求三种或四种不同类型的更改，十个模型中的每一个得分都会变差。 | 图片：Wei 等

额外的算力对弥补这一弱点几乎无济于事。GLM-5.2 在较小改动上消耗的 token 数量几乎是 GPT-6 Astra 的六倍，得分却仍明显更低。

GPT-6 Astra 在两个赛道均领先，但仅完全解决了 41% 的多模态任务和略低于 18% 的代码仓库任务。 | 图片：Wei 等

测试框架对结果的影响不亚于模型本身

在另一项测试中，研究人员在不同的测试框架（即智能体读取、写入和执行代码所依托的程序）中运行了相同的模型。Qwen3.8-27B 在较大规模改造任务上的得分因环境不同而为 75% 或仅 56%。两个模型中哪一个更胜一筹，同样取决于环境。

因此，仅列出模型的排行榜只能说明部分情况。作者建议始终将模型与工作环境一并报告。对于挑选编程智能体的公司而言，这意味着要将这两个组成部分作为一个整体来测试。

这项新基准确实存在局限。每个任务只评估一个固定请求；用户的追问或任务中途的纠正不在测试范围内。AI 评审也可能出错。

研究机构 METR 的一项研究已经表明，基准测试结果与实际可用性之间可能存在多大差距。项目负责人对 AI 生成代码的实际接受率，比广泛使用的 SWE-bench Verified 上的得分低约 24 个百分点。

测试环境中的缺陷也可能让智能体在并未真正解决问题的情况下通过任务。不过，工作环境的影响并非一目了然。一项关于编程智能体的近期研究发现，更精细的测试框架几乎带不来任何可测量的收益，尽管它们消耗的 token 最多可达三倍。