Artificial Analysis 发布决策指数 v2 引入校准置信度新指标

Artificial Analysis (@ArtificialAnlys) · 2026-11-08 23

隆重推出 Artificial Analysis Decision Index v2：一项全新的专有评估、更新后的基准测试，以及一项奖励模型校准度的核心指标

我们发布了 Artificial Analysis Decision Index 的第二版，以更好地反映真实世界中的实用价值，并防范基准测试被钻空子。如今，该指数有 45% 建立在私有数据集之上，高于 v1 的 25%。来自 @NaceAI 的 Drex Max v1.1 在决策模型中以 73 分略微领先，与 GLiDE v1.2（@fastinoAI）和 Mammoth 27B（@baselabs）的差距在 1 分以内

Decision Index v2 的更新内容：

➤ Decision Score：我们采用了一项新的核心指标，同时奖励模型的正确性和校准后的置信度。每道题的得分为 0 到 100：正确答案得分高于 50，错误答案低于 50，而对首选答案的置信度会在各自区间内调整得分

➤ AA-Paperclip（30%）：我们新增了一个私有基准测试，包含 1,500 份文档，涵盖简历、收据、发票以及 AI 和机器学习研究论文。模型对每份文档做出决策并提取事实，这些结果作为单一决策联合评分，只有全部 15 个答案都正确才算正确

➤ AA-Symmetry（15%）：该测试评估模型在面对措辞不同但含义等价的问题时是否会改变答案。我们测试 120 道题，并采用重排选项、交换标签、否定式是/否问题等变体，然后衡量模型在这些变体下的概率一致性

➤ AA-Omniscience-Decision v1.1 和 HLE-MultiChoice v1.1（各占 15%，此前为 25%）：AA-Omniscience-Decision 现在将其“我不知道”选项的措辞改为十种不同表述。HLE-MultiChoice 新增了一个使用同样十种表述的拒答选项

我们还新增了 EvalSafe-ONET-AA（15%），这是我们对 @typesafeai 的 ONET 基准测试的实现。我们保留了 @NVIDIAAI 的 When2Call，但在指数中的权重降至 10%（此前为 25%），并因 WildGuardTest 饱和度过高而将其移除

关键结果：

➤ 三个决策模型在指数榜首的差距在 1 分以内：来自 Nace AI 的 Drex Max v1.1 和来自 Fastino Labs 的 GLiDE v1.2 均得分 73，来自 Base Labs 的 Mammoth 27B 得分 72

➤ 每 100 万任务成本在各类决策模型之间相差超过 60 倍：Celeris-1.1 Decision（$14）、Decider v1.2（$68）和 Drex Max v1.1（$102）位于决策指数 vs. 成本帕累托前沿，而 Clef 的成本为 $859。Token 价格并非唯一的成本驱动因素：包括 Drex Max v1.1 和 Decider v1.2 在内的大多数决策模型，对一份文档的输入仅在其所有问题上计费一次，而 GLiDE v1.2 和 Decider Flash v1.2 则对每个问题都计费一次。这意味着 GLiDE v1.2 的成本为 $780，尽管其标价仅高出 33%，却比 Drex Max v1.1 高出近 8 倍

➤ 语言模型可以获得更高分数，但每任务成本和耗时也更高：Claude Haiku 5.5 (Max) 在 Decision Index v2 上得分 77，GPT-6 Luna (Max) 得分 76，比 Drex Max v1.1 高出约 3 分。GPT-6 Luna (Max) 每 100 万任务成本为 $1,530，而 Drex Max v1.1 为 $102（成本为其 15 倍），且每任务耗时 11.34 秒，而后者为 275 毫秒（约慢 40 倍）