Today for AI
返回热点榜
llm热度 39.9°

AI 聚簇研判事件 · 2026/10/13

Artificial Analysis 上线 FrontierCode 1.1 榜单：Cognition 联合维护者确立“可合并性”标准，头部模型失败率超 40%

2 篇报道存证2 家独立信源交叉印证持续跟踪至 2026/10/13 01:51:28
全景综述与最新动态
2 家信源交叉印证

Artificial Analysis 正式推出基于 Cognition FrontierCode 1.1 的评测榜单，该基准由 Cognition 与开源仓库维护者共同构建，核心突破在于将评估标准从传统的单元测试通过率转向更贴近生产环境的“代码可合并性”。这一变革旨在解决现有编码基准易过拟合测试用例、忽视工程规范与长期可维护性的痛点，标志着 AI 编程评测进入以真实工程验收为导向的新阶段。

在技术实现上，FrontierCode 1.1 采用私有任务集与双重检查机制，要求模型在真实开源仓库中完成修改，并通过单元测试与维护者定性审查两道关卡。评分体系严格区分阻塞性检查与非阻塞项，未通过前者直接得零分，全部通过则在 70%-100% 区间打分。然而，数据显示当前最领先的 AI 模型仍有超过 40% 的任务无法达到“可合并”标准，深刻揭示了其在复杂语义理解、代码风格一致性及工程规范对齐上的显著短板。

该榜单的发布填补了 SWE-bench 等学术基准与真实工业界验收标准之间的空白，迫使开发者关注代码质量而非单纯功能实现。对于 AI 智能体赛道而言，这意味着仅靠提升测试通过率已不足以证明落地能力，具备符合人类维护者审美与规范的“工程级”代码生成能力将成为下一代模型竞争的关键分水岭。

最新动向/Artificial Analysis 使用 Stirrup 框架运行 100 个主任务，所有任务保持私有以防止数据污染。当前头部模型在“可合并性”指标下表现不佳，凸显了 AI 在处理真实开源项目复杂上下文时的局限性，行业正加速向注重代码规范与长期维护性的评测体系转型。

热度曲线逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时，暂不绘制趋势曲线。

TIMELINE报道时间线

共 2 篇 · 最新优先
  1. Artificial Analysis (@ArtificialAnlys)T1·68 分

    Artificial Analysis 上线 FrontierCode 1.1 榜单：以真实开源仓库合并标准评估代码智能体

    原标题：We're launching our leaderboard for FrontierCode 1.1, a private evaluation from Cognition that tests...

    • FrontierCode 1.1 由 Cognition 构建，任务源自真实开源仓库，需通过单元测试与维护者定性审查双重关卡。
    • Artificial Analysis 使用 Stirrup 框架运行 100 个主任务，所有任务保持私有以防止数据污染。
    • 评分机制严格：未通过阻塞性检查得零分，全部通过则在 70%-100% 区间打分，强调代码的可合并性而非单纯功能实现。
  2. Artificial AnalysisT1·68 分

    Cognition 发布 FrontierCode 基准：测试 AI 代码能否通过开源维护者合并审查，头部模型失败率仍超 40%

    原标题：Announcing FrontierCode on Artificial Analysis: can AI models write code maintainers would merge?

    • FrontierCode 1.1 由 Cognition 与开源维护者共同构建，以“代码是否会被合并”作为核心评判标准，而非传统的单元测试通过率。
    • 当前最领先的 AI 模型在该基准下仍有超过 40% 的任务失败，表明其在处理真实开源项目的复杂上下文和规范时存在明显局限。
    • 该基准填补了现有编码评测（如 SWE-bench）与真实工程验收标准之间的空白，强调了代码质量、风格一致性及长期可维护性的重要性。