Artificial Analysis 发布 v5 智能指数 引入私有数据集与代码基准

2026 年 10 月 27 日

发布 Artificial Analysis Intelligence Index v5

Index v5 包含 2 个新基准测试和 3 项升级。首次实现，该指数的主体部分基于私有数据集构建

Artificial Analysis Intelligence Index 是我们对模型在反映当今真实世界使用场景的任务中综合能力的衡量指标。v5 是自今年一月 v4 发布以来最大的一次升级。在 v5 版本中，该指数 60% 的内容现在基于使用私有测试集或保留答案的评估结果。

伴随 Intelligence Index v5，我们同时推出了 Artificial Analysis Progress Index v1，该指数在一个连续尺度上追踪模型能力随时间的变化。

Intelligence Index 新增内容：

➤ FrontierCode 2.0: Cognition 最新推出的私有基准测试，针对真实世界的编码任务，评分标准是仓库维护者是否会合并智能体（agent）提交的更改

➤ Terminal-Bench-Science: 70 个在终端环境中运行的智能体科学研究任务

升级内容：

➤ HLE-Diamond (取代 Humanity's Last Exam): 经过精炼的 1,000 题版 Humanity's Last Exam，推理题与知识题各占一半

➤ AA-Omniscience v1.1: 更新后的数据集，移除了已饱和及公开的题目，新增了题目，并修订了存在歧义或错误的题目

➤ CritPt v2: CritPt v2 的一个包含 40 道题目的私有高难度子集，由 CritPt 作者修订，并在代码执行工具辅助下运行

保留在指数中的项目： AA-Briefcase, AutomationBench-AA, GDP.pdf 和 Terminal-Bench 4.0

从指数中移除的项目： GDPval-AA v2.1, SciCode 和 AA-LCR v1.1

Intelligence Index v5 权重分布：

➤ 知识工作 (Knowledge Work) (25%): AA-Briefcase (15%), AutomationBench-AA (5%) 和 GDP.pdf (5%)

➤ 编码 (Coding) (25%): FrontierCode 2.0 (15%) 和 Terminal-Bench 4.0 (10%)

➤ 科学 (Science) (25%): Terminal-Bench-Science (15%) 和 CritPt v2 高难度子集 (10%)

➤ 通用 (General) (25%): AA-Omniscience v1.1 (15%，其中 10% 为准确率，5% 为非幻觉率) 和 HLE-Diamond (10%)

关键结果：

➤ Claude Opus 5.5 (max) 以 58 分领先，紧随其后的是 GPT-6 Astra (max, 57 分) 和 GPT-6.1 Sol (max, 55 分): Anthropic 和 OpenAI 占据了前五名模型的位置。Gemini 4 Argon (high) 以 50 分位列其后

➤ 开源权重模型的差距从 3 分扩大至 12 分: Kimi K3.1 Pro (权重尚未发布) 以 46 分成为领先的开源权重模型。在已发布权重的模型中，DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 以 32 分领先——落后榜首 26 分，且低于 Claude Haiku 5.5 (max, 36 分)

➤ 各领先模型的任务成本差异超过 13 倍： 在展示的得分最高的 10 个模型中，GPT-6.1 Terra (max) 的成本最低，为每个 Intelligence Index 任务 $0.96；而 Claude Fable 5.1 (max) 的成本最高，为每个任务 $13.04

FrontierCode 2.0 是 Cognition 最新更新的私有编码基准测试。该基准于今日早些时候发布，包含来自真实开源代码仓库的 132 项任务，评分标准是维护者是否会合并智能体（agent）提交的更改。如果某次尝试未能通过任何一项阻断性检查，则得分为 0，且这些任务保持私密以避免数据污染。我们在 Stirrup（我们的智能体运行框架）中对每项任务运行三次。

Claude Opus 5.5 (max) 以 46% 的得分位居榜首，其次是 GPT-6 Astra (max)、GPT-6.1 Terra (max) 和 Claude Sonnet 5.5 (max)，得分均为 42%。DeepSeek V4.1 Flash 1017 (max) 是得分最高的开放权重模型，得分为 28%，落后榜首 18 个百分点。

Terminal-Bench-Science 测试智能体能否在终端环境中执行科学研究工作流。每项任务均由专家精心策划并审核，只有当任务的所有测试均通过时，该任务才算成功。

GPT-6 Astra (max) 以 63% 的得分领先，其次是 Claude Opus 5.5 (max)（59%）和 GPT-6.1 Sol (max)（58%）。在领先模型之后，得分急剧下降：表现最佳的开放权重模型 Kimi K3.1 Pro（权重尚未发布）得分为 34%，而 Claude Haiku 5.5 (max) 得分为 20%。已发布权重的最佳开放权重模型 DeepSeek V4.1 Flash 1017 (max) 得分为 13%，而我们测评的大多数开放权重模型得分低于 10%。

HLE-Diamond 取代了 Humanity's Last Exam（人类最后考试）成为 Index 的一部分。它是来自 AI 安全中心（CAIS）和 Scale AI 的 Humanity's Last Exam 的精炼版 1,000 题版本，题目均匀分布在推理和知识两类之间。Claude Opus 5.5 (max) 以 68% 的得分领先，其次是 GPT-6 Astra (max)（64%）和 Claude Fable 5.1 (max)（60%）。

对于领先模型而言，知识类问题比推理类问题更难：Claude Opus 5.5 (max) 和 GPT-6 Astra (max) 在推理类问题上均得分为 78%，而在知识类问题上分别得分为 58% 和 50%。

AA-Omniscience v1.1 是我们知识与幻觉基准测试的清理版本，移除了饱和题目和公开集题目，新增了部分题目，并修订了存在歧义或错误的题目。得分与 v1 版本基本保持一致，模型在 AA-Omniscience v1.1 指数上的平均得分低了 2 分（中位数为 0.6）。我们还在 Hugging Face 上发布了新的公开子集 AA-Omniscience-Public-v1.1，经过重新校准以确保准确率、幻觉率和整体性能在公开集与私有集之间保持一致。

该指数基于一个包含 40 道题目的私有高难度子集对 CritPt v2 进行评分：即从 70 道研究级物理题中，剔除七款前沿模型在发布时五次尝试全部解出的那 30 道题。模型在我们的智能体框架 Stirrup 中的离线 Python 沙箱内运行。

GPT-6 Astra 在高努力度设置下以 72% 的得分领先，其次是 GPT-6.1 Sol 在最大努力度设置下的 69%。Claude Opus 5.5（最大努力度）作为该指数的总体最高分模型，得分为 61%。Kimi K3.1 Pro（权重尚未发布）是开源权重模型中的最高分者，得分为 45%。

v5 版本在所有九项评估中都留有显著的进步空间，且没有任何单一模型能在所有项目中领跑。 在我们测量的模型中，Claude Opus 5.5 在三项中领先，其他五个模型分别在剩余的六项中领先：

➤ Claude Opus 5.5： FrontierCode 2.0 (46%)、HLE-Diamond (68%) 和 AA-Omniscience v1.1 (48)

➤ GPT-6 Astra： Terminal-Bench-Science (63%) 和 CritPt v2 高难度子集 (72%)

➤ Claude Sonnet 5.5： AA-Briefcase (1812 Elo)

➤ Kimi K3.1 Pro： Terminal-Bench 4.0 (67%)

➤ Gemini 4 Argon： AutomationBench-AA (78%)

➤ Muse Wonder Full： GDP.pdf (33% 全通过)

在 v5 版本中，开源权重模型的差距进一步拉大。 表现最好的 Kimi K3.1 Pro（权重尚未发布）得分为 46，落后于榜首 12 分，而在 v4.3 版本中这一差距仅为 3 分。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（最大努力度）和 GLM-5.3（最大努力度）得分最高，均为 32 分，而 Claude Haiku 5.5（最大努力度）的得分超过了它们所有。

在 HLE-Diamond 和 Terminal-Bench-Science 上，差距最为显著：Kimi K3.1 Pro 的得分分别为 37% 和 34%，而 Claude Opus 5.5 (max) 为 68%，GPT-6 Astra (max) 为 63%。

主流模型之间的成本差异巨大。 Claude Opus 5.5 (max) 每完成一项 Intelligence Index 任务的成本为 10.04 美元，GPT-6 Astra (max) 为 6.24 美元，GPT-6.1 Sol (max) 为 1.27 美元。GPT-6.1 Sol (max) 的得分与 Claude Opus 5.5 (max) 相差不到 4 分，但每项任务的成本仅约为后者的八分之一。

在 v5 中，Effort（努力程度）设置的影响比 v4.3 更大。 Claude Opus 5.5 在低 Effort 设置下得分为 35，在 max 设置下得分为 58，而每项 Intelligence Index 任务的成本增加了 10 倍（从 0.98 美元增至 10.04 美元）。Claude Sonnet 5.5 从低到 max 设置的分数跨度达 29 分，高于 v4.3 中的 20 分；GPT-6.1 Sol 的分数跨度则从 10 分翻倍至 20 分。

v5 任务要求模型投入更多工作量。 我们测量的每个模型在每项 Intelligence Index 任务中生成的输出 Token 数量均多于 v4.3，中位数从 3.5 万上升至 5.9 万，增幅达三分之二。

➤ Agentic（智能体）评估占据了大部分 Token 使用量： Terminal-Bench-Science、Terminal-Bench 4.0、AA-Briefcase 和 FrontierCode 2.0 占 Index 权重的 55%，但其中位输出 Token 占比高达约 90%

➤ Terminal-Bench-Science 是 Token 消耗最密集的基准测试： 仅这一项就约占每项任务输出 Token 总量的三分之一

伴随 v5 发布，我们推出了 Artificial Analysis Progress Index v1。 该指数将自 2022 年 11 月以来发布的语言模型置于单一能力尺度上进行比较，涵盖广泛的基准测试。

利用 Progress Index 可以比较底层能力随时间的变化，包括对比相隔数年发布的不同模型。若要针对当前用例比较模型并了解当前的前沿水平，请使用 Intelligence Index，它仍是我们衡量当前模型智能的主要指标。

感谢 Epoch AI 和 Anthropic——我们在设计 Progress Index 时借鉴了 Epoch Capabilities Index 的经验。

探索 Progress Index：artificialanalysis.ai/trends

感谢 Cognition、Steven Dillmann 及 Terminal-Bench 团队、AI 安全中心（Center for AI Safety）、Scale AI，以及 Minhui Zhu、Minyang Tian、Hao Peng 和 CritPt 团队为本次更新提供的基准测试支持。

查看完整结果：artificialanalysis.ai

方法论：artificialanalysis.ai/methodology/intelligence-benchmarking

阅读最新动态

[

Code2Video-AA：AI 模型通过代码设计视频的效果如何？

Artificial Analysis 实现了 HeyGen 的 Code2Video Bench，评估模型使用 HyperFrames HTML 根据 114 份设计简报创建短视频和品牌宣传视频的能力。

2026 年 10 月 26 日](https://artificialanalysis.ai/articles/code2video-aa)[

GPT-6.1 Terra 推动成本效率前沿

OpenAI 发布了 GPT-6.1 Terra，进一步推动了成本效率的前沿。这是自 GPT-5.6 以来首个 Terra 级模型，其智能水平更高，而成本不到前者的三分之一。

2026 年 10 月 26 日](https://artificialanalysis.ai/articles/gpt-6-1-terra-pushes-the-cost-efficiency-frontier)[

Kimi K3.1 Pro 在 Intelligence Index 中位列第四，并将领跑开源权重模型

Kimi K3.1 Pro 在 Artificial Analysis Intelligence Index 中排名第 4，并将成为开源权重模型的领导者

October 23, 2026](https://artificialanalysis.ai/articles/kimi-k3-1-pro-launch-benchmarks){"@context":"https://schema.org","@type":"NewsArticle","headline":"Announcing Artificial Analysis Intelligence Index v5","description":"Index v5 features 2 new benchmarks and 3 upgrades. For the first time, the majority of the Index is built on private datasets","datePublished":"2026-10-27","dateModified":"2026-10-27","image":"https://cdn.sanity.io/images/6vfeftx9/articles/c091ec22bdbb2a18ba5205e03dd14575b80f552e-1200x1200.jpg?w=1200&auto=format","author":{"@type":"Organization","name":"Artificial Analysis","url":"https://artificialanalysis.ai"},"publisher":{"@type":"Organization","name":"Artificial Analysis","url":"https://artificialanalysis.ai"},"mainEntityOfPage":{"@type":"WebPage","@id":"https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5"}}