Artificial Analysis 发布能力指数 v2.0,强化幻觉抑制与智能体工具使用评估

原标题:We’ve updated the six Artificial Analysis Capability Indexes to v2.0, aligning them with evaluations...
68AI 研判分

Artificial Analysis 将其六大行业能力指数更新至 v2.0 版本,以对齐其最新智能指数。此次更新显著增加了对“非幻觉”和“智能体工具使用”能力的权重,并调整了部分基准测试。在开源模型中,Kimi K3.1 Pro(权重未公开)在六个指数中均领先,MiniMax-M3.1-Flash 和 DeepSeek V4.1 Flash 分别在特定领域表现突出。

报道正文

Artificial Analysis (@ArtificialAnlys) · 2026-11-04 00

我们将六大 Artificial Analysis 能力指数(Capability Indexes)更新至 v2.0 版本,使其与 Artificial Analysis 智能指数(Intelligence Index)v5.0 的评估标准保持一致,并加大了对“非幻觉”(Non-Hallucination)和“智能体工具使用”(Agentic Tool Use)的重视程度。

能力指数将 O*NET 职业中的任务映射到代表这些任务的基准测试(benchmarks),并根据各项能力在该职业中出现的频率对每个基准测试进行加权。这六个指数分别为:金融与会计、战略与运营、法律、医疗与健康、工程以及经济学。

主要变更如下:

➤ 金融与会计:提高了“非幻觉”的权重,将 HLE 升级为 HLE-Diamond,将 AA-Omniscience 升级至 v1.1,从“智能体知识工作”中移除了 GDPval-AA,并从“长上下文”中移除了 AA-LCR。

➤ 战略与运营:提高了“智能体工具使用”的权重,新增了“非幻觉”指标并将 AA-Omniscience 升级至 v1.1,从“智能体知识工作”中移除了 GDPval-AA,并从“长上下文”中移除了 AA-LCR。

➤ 法律:提高了“非幻觉”的权重,将 HLE 升级为 HLE-Diamond,将 AA-Omniscience 升级至 v1.1,从“智能体知识工作”中移除了 GDPval-AA,并从“长上下文”中移除了 AA-LCR。

➤ 医疗与健康:提高了“智能体工具使用”的权重,将 HLE 升级为 HLE-Diamond,将 AA-Omniscience 升级至 v1.1,并从“智能体知识工作”中移除了 GDPval-AA。

➤ 工程:新增“科学”作为一项新能力,数据来源于 CritPt v2(困难子集)和 Terminal-Bench-Science 0.1;在“智能体编码”中新增 FrontierCode 2.0;将 HLE 升级为 HLE-Diamond,将 AA-Omniscience 升级至 v1.1,并从“智能体知识工作”中移除了 GDPval-AA。

➤ 经济学:提高了“智能体知识工作”和“长上下文推理”的权重,在“长上下文推理”中用 GDP.pdf 替换了 AA-LCR;将 HLE 升级为 HLE-Diamond,将 AA-Omniscience 升级至 v1.1,并从“智能体知识工作”中移除了 GDPval-AA。

关键结果:

➤ Claude Opus 5.5 (max) 在所有六个指数中均位居榜首,其次是 GPT-6 Astra (max),其在金融与会计、法律及工程领域排名第二。

➤ 在开源权重模型中,Kimi K3.1 Pro(权重尚未发布)在所有六个指数中均领先,排名在第 5 至第 8 位之间。MiniMax-M3.1-Flash 在战略与运营领域排名第一(总榜第 10 位),而 DeepSeek V4.1 Flash 1017 (max) 在医疗与健康领域排名第一(总榜第 12 位)。

推文配图