Today for AI
返回全部资讯
Artificial Analysis 上线 FrontierCode 1.1 榜单：Cognition 联合维护者确立“可合并性”标准，头部模型失败率超 40%Artificial AnalysisT1基座大模型

Artificial Analysis · 2026/10/12 08:00:00

Cognition 发布 FrontierCode 基准：测试 AI 代码能否通过开源维护者合并审查，头部模型失败率仍超 40%

出处作者 / 发布主体：Artificial Analysis原标题：Announcing FrontierCode on Artificial Analysis: can AI models write code maintainers would merge?
68AI 研判分
核心综述

Cognition 联合开源仓库维护者推出 FrontierCode 1.1 编码基准，核心指标不再是单元测试通过率，而是真实代码变更是否具备被维护者合并的质量。尽管该基准旨在评估 AI 在复杂工程语境下的实际落地能力，但数据显示当前领先模型仍有超过 40% 的任务无法达到“可合并”标准，揭示了 AI 编程在语义理解与工程规范对齐上的显著短板。

报道全文原始报道全文

本文目录18 个章节

Artificial Analysis

所有文章

2026 年 10 月 12 日

Artificial Analysis 推出 FrontierCode：AI 模型能否编写出维护者愿意合并的代码？

Cognition 的 FrontierCode 1.1 旨在测试 AI 模型所做的代码更改是否能让真实开源仓库的维护者选择合并。目前，领先模型的失败率仍超过 40%。

FrontierCode 1.1 排行榜阅读方法论这是最初的发布文章，展示了截至 2026 年 10 月 12 日的 FrontierCode 1.1 结果。如需查看最新模型的实时结果，请访问 FrontierCode 1.1 排行榜。

概述

FrontierCode 是由 Cognition 与开源仓库维护者共同构建的一个编程基准测试。每个任务要求智能体（agent）对真实的开源仓库进行更改，而该基准测试衡量的是这些更改是否足以让该仓库的维护者将其合并。

FrontierCode 不仅评估测试是否通过。与其他编程评估不同，模型还会在以下行为方面接受评估：进行过多的更改、产生巨大的差异（diff）、修改超出相关范围的文件，或添加无用的测试。我们认为这种方法在当前背景下非常有价值：尽管模型现在在编程任务上表现出色，但其生成的更改往往仍需大量清理工作，才能被维护者合并。

我们在相同的智能体框架（agent harness）中运行 FrontierCode 1.1 Main（该基准测试 150 个任务中的主要 100 个任务集），以确保公平对比。为避免数据污染，这些任务是私有的。

领先模型的失败率仍超过 40%。Claude Opus 5.5（最大上下文并启用回退机制）以 52% 的平均得分和 58% 的通过率位居榜首。通过率是指完成所有阻断性标准（blocking criteria）的尝试比例，而得分则还反映了非阻断性的理想表现。

FrontierCode 1.1 作为独立排行榜推出，不属于 Artificial Analysis 智能指数的一部分。我们计划很快将其纳入我们的 编程智能体排行榜。

FrontierCode 1.1：得分

每个任务三次尝试的平均得分（未通过阻断性检查或被标记为查找答案的尝试得分为零）· 由 Artificial Analysis 独立进行基准测试

FrontierCode 的工作原理

基准测试概览

Cognition 与 36 个开源仓库的维护者共同构建了 FrontierCode，每位维护者在每个任务上投入了超过 40 小时。Cognition 于 2026 年 6 月发布了 FrontierCode，并于 2026 年 7 月发布了 1.1 版本，新增了关于公平使用互联网资源的规则。

FrontierCode 验证器通过确定性测试和定性审查对每次尝试进行评分：包括隐藏测试和命令检查、限制修改涉及的文件数量及代码量，以及依据维护者标准进行的 LLM 审查。每项检查分为阻断性或非阻断性两类。任何未通过阻断性检查的尝试得分为 0，而通过所有阻断性检查的尝试得分在 70% 到 100% 之间。

方法论

  • 任务集：我们评估 FrontierCode 1.1 Main 中的 100 个任务，每个任务进行三次尝试。
  • Agent 框架：所有模型均在 Stirrup 中运行，这是我们的开源 agent 框架，每次尝试的上限为 250 轮。
  • 评分：LLM 评审员根据评分标准的审查准则进行评估。我们使用 GPT-6 Luna (medium) 作为评审员。
  • 查找答案：若 Cognition 的轨迹扫描器根据公平使用互联网资源规则将某次尝试标记为违规，则该尝试得分为 0。
  • 计分方式：先计算每个任务三次尝试的平均分，再对所有任务得分进行等权重平均。

完整详情见方法论页面。

主要发现

  • 领先模型的失败率仍超过 40%：Claude Opus 5.5 (max with fallback) 以 52% 的得分位居榜首，其 58% 的尝试通过了所有阻断性检查；紧随其后的是 GPT-6.1 Sol (max) 和 Claude Fable 5.1 (max with fallback)，得分均为 49%。
  • 排行榜头部竞争非常激烈：来自六家实验室的九个模型得分介于 43% 至 52% 之间。MiMo-V2.6-Pro 是表现最佳的开放权重模型，得分为 45%，随后是 DeepSeek V4.1 Flash (max) 和 Kimi K3 (max)，得分均为 44%。
  • GPT-6.1 Sol (max) 提供了最具性价比的性能：每个任务成本为 $0.81，得分为 49%，与 Claude Fable 5.1 (max with fallback) 持平，但成本不到 Anthropic 领先模型每任务成本的十分之一。
  • 在 100 个任务中，有 9 个任务没有任何模型在任何一次尝试中通过；同时，也没有任何一个任务被所有模型在所有尝试中全部通过。

通过率

我们每项任务运行三次。当某次尝试通过所有阻断性检查时，即视为通过。通过率范围从 Claude Opus 5.5（最大配置并启用回退）的 58% 到 Muse Glimmer（高配置）的 16%。

FrontierCode 1.1：通过率

通过所有阻断性检查的尝试占比 · 数值越高越好

成本

每项任务的成本差异超过 100 倍，从 GPT-6 Luna（最大配置）的 0.09到ClaudeFable5.1（最大配置并启用回退）的0.09 到 Claude Fable 5.1（最大配置并启用回退）的 12.00。有四个模型位于得分与成本的帕累托前沿上：GPT-6 Luna（最大配置）得分为 42%，每项任务成本 0.09；MiMo−V2.6−Pro得分为450.09；MiMo-V2.6-Pro 得分为 45%，成本 0.18；GPT-6.1 Sol（最大配置）得分为 49%，成本 0.81；以及ClaudeOpus5.5（最大配置并启用回退）得分为520.81；以及 Claude Opus 5.5（最大配置并启用回退）得分为 52%，成本 10.15。前沿上的最后一步，即从 GPT-6.1 Sol（最大配置）到 Claude Opus 5.5（最大配置并启用回退），仅增加 3 分，但每项任务成本却增加了 12 倍以上。

GPT-6.1 Sol（最大配置）的得分比 GPT-6 Astra（最大配置）高 2 分，而每项任务成本约为后者的五分之一，分别为 0.81和0.81 和 4.22。Claude Sonnet 5.5（最大配置并启用回退）每项任务的输出 token 数量比 Claude Opus 5.5（最大配置并启用回退）多约 50%，但由于其每 token 价格仅为后者的一半，因此总成本更低，分别为 8.26和8.26 和 10.15。

FrontierCode 1.1：得分 vs. 每项任务成本

FrontierCode 1.1 得分与平均每项任务成本（美元）对比 · 最具吸引力象限 · 帕累托线

评估中的平均每项任务成本。在可获得标准 token 计数的情况下，成本按输入、缓存命中、缓存写入、推理和答案 token 定价进行细分。

Token 用量与时间

GPT-6 系列模型在 token 效率方面领先：GPT-6 Astra（最大配置）和 GPT-6.1 Sol（最大配置）每项任务分别使用约 27k 和 33k 个输出 token，相比之下，Claude Opus 5.5（最大配置并启用回退）约为 157k，而 Claude Sonnet 5.5（最大配置并启用回退）高达约 236k，为所有模型中最高。每项任务所需时间取决于 token 用量和实时输出速度，范围从 Inkling（超高配置）的约 3 分钟到 Qwen3.8 Max (0902) 的约 46 分钟。

FrontierCode 1.1：每项任务输出 Token 数

运行一项任务所使用的输出 token 数量，按推理 token 和答案 token 细分

本次评估中，每项基准任务生成的答案和推理 token 的平均数量。

FrontierCode 1.1 资源

感谢 Cognition 团队构建 FrontierCode，并与 us 合作将其引入 Artificial Analysis。

阅读最新动态

[

Muse Wonder 与 Muse Wonder Full：相比 Meta 此前模型，智能水平实现实质性飞跃

Meta 发布了 Muse Wonder 和 Muse Wonder Full，在最大推理努力度下分别取得了 Artificial Analysis Intelligence Index v4.3 得分 52 分和 56 分——相较于 Muse Spark 1.3（最大推理努力度）的 48 分均有显著提升，且发布间隔仅 6 周

2026 年 10 月 12 日](https://artificialanalysis.ai/articles/muse-wonder)[![](/api/v1/file/hot_img_3ce75d728763a55e9f3b1cc51fef1c10.webp)

Harvey LAB-AA v1.1 新增了幻觉审计功能，引入了新的“幻觉门控全通过率”（Hallucination-Gated All-Pass Rate）核心指标、三法官评分小组，以及 Harvey 最新的私有数据集，其任务和评判标准均有所改进。

2026 年 10 月 8 日](https://artificialanalysis.ai/articles/harvey-lab-aa-v1-1)[![](https://cdn.sanity.io/images/6vfeftx9/articles/6f3b4141b66da1b2aaaf55c80e9f4afe8f20cc64-1200x1200.png?w=240&auto=format)

将受信任访问模型引入 Artificial Analysis Cyber Index

GPT-6 Sol (Daybreak Blue) 目前在 Cyber Index 中位居榜首

2026 年 10 月 8 日](https://artificialanalysis.ai/articles/trusted-access-models-cyber-index)