Artificial Analysis 发布决策指数 v1.0：量化结构化概率输出模型，Jev 成本仅为大模型十分之一Artificial AnalysisT1基座大模型

Artificial Analysis · 2026/10/13 08:00:00

Artificial Analysis 发布决策指数 v1.0：基准测试结构化概率输出模型

出处作者 / 发布主体：Artificial Analysis原标题：Artificial Analysis Decision Index v1.0

68AI 研判分

核心综述

Artificial Analysis 推出“决策指数”v1.0，专门用于评估新兴的“决策模型”。该指数通过分类、工具调用、知识检索、幻觉抑制及推理五个维度，量化模型在单次调用中输出结构化选项及其概率的能力。

报道全文原始报道全文

本文目录24 个章节

Artificial Analysis

所有文章

2026 年 10 月 13 日

Artificial Analysis 决策指数 v1.0

Artificial Analysis 决策指数对决策模型进行基准测试。决策模型是一类新型模型，能够在单次调用中针对结构化决策给出答案，并为每个选项提供概率值。v1.0 版本整合了四项评估，涵盖分类、工具调用、知识、幻觉和推理能力。

决策指数排行榜阅读方法论这是最初的发布文章，展示了发布时的 Artificial Analysis 决策指数结果。如需查看最新模型的实时结果，请参阅 Artificial Analysis 决策指数排行榜。

推出 Artificial Analysis 决策指数

决策模型是一类新兴模型，能够输出带有相关概率的结构化答案或分类结果。与专为复杂推理和长周期任务设计的语言模型不同，决策模型专注于以更快速度和更低成本做出结构化决策。

随着 Artificial Analysis 决策指数 v1.0 的发布，我们旨在帮助开发者和企业了解决策模型在能力、成本和速度方面的权衡，既包括与其他决策模型的对比，也包括与语言模型的对比。

状态

“救命！我的付款已经失败 3 天了，而我的房租明天就要到期。这太不可接受了。”

问题

Choice路由至团队
Yes/No是否紧急？
Score有多沮丧？

决策模型

在一次调用中回答所有问题，并为每个选项提供概率

路由至团队

BillingTechnicalAccount

是否紧急？

YesNo

有多沮丧？

CalmFrustratedAngry

语言模型

生成结构化输出

解析后的答案

路由至团队 Billing是否紧急？ Yes有多沮丧？ Angry

决策模型从一组固定选项中做出选择，为每个选项分配概率，且仅需一次调用。这使得它们成本低廉、速度快，并允许我们衡量其校准度（calibration）。

决策指数衡量的内容

在发布时，Artificial Analysis 决策指数整合了四项评估，涵盖分类、工具调用、知识、幻觉和推理：

知识与幻觉AA-Omniscience-Decision

500 道私有题目，改编自我们的知识与幻觉基准测试 AA-Omniscience。每道题提供五个选项：四个答案（其中一个是正确答案）以及“我不知道”。

占指数的 25%：准确率与非幻觉率各占 12.5%

推理 HLE-MultiChoice

来自 Humanity's Last Exam 的 513 道纯文本多选题，每道题以字母选项形式呈现。

占指数的 25%

工具调用 When2Call

NVIDIA 的工具调用评估。给定一段对话和一组工具，模型需选择是直接回答、调用工具、请求更多信息，还是表示无法回答。

占指数的 25%

分类 WildGuardTest

Ai2 的安全分类测试集。模型需判断用户请求是否有害、助手回复是否为拒绝，以及该回复是否有害。

占指数的 25%

我们也在 LLM 上运行所有评估。LLM 通过结构化输出指明所选选项，因此不会为每个选项提供概率值。

决策模型结果

Jev 1.13 以 58 分领跑决策指数，领先于 GLiDE 和 Microsoft-Decision-1（均为 54 分）。在推理基准 HLE-MultiChoice 上，Jev 1.13 的表现优于其他决策模型，得分为 21，而其他模型得分均在 15 或以下。在知识与幻觉基准 AA-Omniscience-Decision 上，Jev 1.13 的准确率为 35，低于大多数决策模型及 Liquid AI 的 d1 的最高分 41；但其非幻觉率达到 35，位居第二，而 d1 仅得 2 分。在工具调用基准 When2Call 上，Jev 1.13 得分为 81，排名第四，Celeris-1 Decision 和 Fastino Labs 的 GLiDE 均以 84 分并列第一。在分类基准 WildGuardTest 上，其得分为 94，与 Perplexity 的 Decider v1.1 27B 持平，比 GLiDE 的 95 分低一分。

Artificial Analysis 决策指数

AA-Omniscience-Decision、HLE-MultiChoice、When2Call 和 WildGuardTest 的加权平均值 · 分数越高越好包含语言模型

决策模型的成本与时间效率

决策模型在成本和速度上差异显著。成本范围为每百万任务 $17 至$ 199，中位耗时为每任务 0.06 至 0.5 秒。

Artificial Analysis 决策指数 vs. 每百万任务成本

Artificial Analysis 决策指数得分 vs. 每百万任务平均成本（美元）· 数值越低越好 · 包含语言模型 · 最具吸引力象限 · 帕累托前沿线

按当前 Token 价格计算的平均单任务成本乘以 100 万；对于该指数，其成本定义为完成所有评估项一次所需的总费用除以这些评估项的总任务数，再乘以 100 万。决策模型仅对输入 Token 计费，而语言模型则对输入和输出 Token 均计费。

Decider v1.1 27B 的每百万任务成本最低，为 17 美元；Microsoft-Decision-1（31 美元）和 Jev 1.13（42 美元）也位于“能力 vs. 成本”的帕累托前沿线上。GLiDE 得分为 54，与 Microsoft-Decision-1 持平，但成本高达 119 美元，约为 Jev 1.13 的三倍。Celeris-1 Decision 的单任务耗时最快，仅为 0.06 秒，比 Jev 1.13 的 0.13 秒快了一倍以上。

Artificial Analysis 决策指数：单任务耗时

在 Artificial Analysis 决策指数的所有评估中，每个任务的耗时中位数 · 数值越低越好 · 包含语言模型

单任务的中位延迟（毫秒）；对于该指数，取所有评估项中各任务耗时的中位数。

决策模型存在过度自信问题

决策模型会为每个选项给出概率值，因此我们可以检查模型对其所选答案赋予的概率是否与其实际正确率相符。总体而言，在几乎所有概率区间内，所有决策模型的准确率都低于其给出的概率值。这主要归因于在 HLE-MultiChoice 和 AA-Omniscience-Decision 中的知识与推理任务上校准效果较差。相比之下，大多数决策模型在 When2Call（工具调用）和 WildGuardTest（分类）任务上的校准表现相对较好。

Artificial Analysis 决策指数校准情况

将模型对所选答案赋予的概率划分为十个区间，统计各区间的准确率，各基准测试权重相等

语言模型的校准数据即将发布。

决策模型与 LLM 的对比

决策模型在速度和成本方面相比语言模型具有显著优势，但在知识和推理能力上稍逊一筹。Claude Haiku 5.5 (Low) 在决策指数中得分为 61，比 Jev 1.13 高出 3 分，但其单任务耗时为 1.4 秒，远高于 Jev 1.13 的 0.13 秒（慢 11 倍），且每百万任务成本为 184 美元，是 Jev 1.13（42 美元）的 4.4 倍。GPT-6 Luna (Low) 得分为 55，低于 Jev 1.13，其单任务耗时为 1.5 秒，每百万任务成本为 131 美元。

语言模型在知识类任务上占据优势：在 AA-Omniscience-Decision 准确率方面，Claude Haiku 5.5 (Low) 得分为 52，GPT-6 Luna (Low) 为 66，而决策模型的得分仅为 28 至 41。在 HLE-MultiChoice 上，它们的得分分别为 24 和 22，相比之下，Jev 1.13 得分为 21，其他所有决策模型的得分均低于或等于 15。

在分类和工具调用任务上，领先的决策模型表现相当。在 WildGuardTest 中，GLiDE 得分为 95，Decider v1.1 27B 和 Jev 1.13 得分为 94，而 Claude Haiku 5.5 (Low) 为 93，GPT-6 Luna (Low) 为 89。在 When2Call 中，Celeris-1 Decision 和 GLiDE 得分为 84，而 GPT-6 Luna (Low) 为 77，Claude Haiku 5.5 (Low) 为 73。

Artificial Analysis 决策指数

AA-Omniscience-Decision、HLE-MultiChoice、When2Call 和 WildGuardTest 的加权平均值 · 越高越好包含语言模型决策模型语言模型

Artificial Analysis 决策指数 vs. 每百万任务成本

Artificial Analysis 决策指数得分与每百万任务的平均成本（美元）对比 · 越低越好包含语言模型最具吸引力象限帕累托前沿线

按当前 token 价格计算的平均单任务成本乘以一百万；对于该指数，则是完成其所有评估一遍的成本除以其总任务数，再乘以一百万。决策模型仅对输入 token 计费，而语言模型则对输入和输出 token 均计费。

知道何时不回答

每个 AA-Omniscience-Decision 问题都提供了“我不知道”选项，非幻觉率是指模型未正确回答的问题中，选择该选项的比例。Microsoft-Decision-1 以 40% 领先于其他决策模型，其次是 Jev 1.13 的 35% 和 Mercury Decide 的 32%。没有其他决策模型达到 17%。

AA-Omniscience-Decision: 非幻觉率

模型在未正确回答的问题中选择“我不知道”的比例 · 越高越好包含语言模型

进一步探索

最新模型实时得分请见 Artificial Analysis Decision Index 页面
方法论页面详细说明了每项评估的提问方式与评分标准
四项评估各自设有独立排行榜：AA-Omniscience-Decision、HLE-MultiChoice、When2Call 以及 WildGuardTest
如需将决策模型纳入该指数，请联系 [email protected]

阅读最新动态

[

发布 AA-3D：面向 AI 模型构建交互式 3D 体验的基准测试

AA-3D 是一项全新基准测试，用于评估 AI 模型构建交互式 3D 体验的能力。每个模型需根据书面需求在离线沙盒中生成可运行的 three.js 场景，随后由我们招募的评审小组通过盲测成对投票比较各场景效果。

2026 年 10 月 12 日](https://artificialanalysis.ai/articles/aa-3d)[![](/api/v1/file/hot_img_993e4d2e20eaf956489862bad59cc1c5.webp)

Artificial Analysis 推出 FrontierCode：AI 模型能否写出维护者愿意合并的代码？

Cognition 的 FrontierCode 1.1 旨在测试 AI 模型生成的代码变更是否会被真实开源仓库的维护者接受并合并。目前领先模型的失败率仍超过 40%。

2026 年 10 月 12 日](https://artificialanalysis.ai/articles/frontiercode)[![](https://cdn.sanity.io/images/6vfeftx9/articles/e275e93d1913b1e5f1c8f2f4fc1d75b274c6a96c-1092x1092.png?w=240&auto=format)

Muse Wonder 与 Muse Wonder Full：相比 Meta 前代模型实现智能水平显著跃升

Meta 发布了 Muse Wonder 和 Muse Wonder Full，在最大推理努力度下分别取得 Artificial Analysis Intelligence Index v4.3 得分 52 和 56——相较于 Muse Spark 1.3（最大推理努力度）的 48 分均有实质性提升，且两者发布间隔仅 6 周

2026 年 10 月 12 日](https://artificialanalysis.ai/articles/muse-wonder)