谷歌发布首个决策模型 Gemini Decision 1 决策指数得分 66
谷歌 DeepMind 推出首个决策模型 Gemini Decision 1,在 Artificial Analysis 决策指数 v2.1 上得分 66,与 Elephant 9B、Jev 1.14 持平,但落后领先者 Drex Max v1.1 与 GLiDE v1.2 达 7 分。该模型在知识与推理基准上领先,但每百万任务成本约 345 美元,是 Drex Max v1.1 的三倍多,且在分类与抽取基准 AA-Paperclip 上明显落后。
报道正文
Artificial Analysis (@ArtificialAnlys) · 2026-11-11 18
Google 发布了其首个决策模型 Gemini Decision 1,在 Artificial Analysis Decision Index 上得分 66,并在知识与推理基准测试中领先
来自 @GoogleDeepMind 的 Gemini Decision 1 在 Artificial Analysis Decision Index v2.1 上得分 66,与 Elephant 9B(@baselabs)和 Jev 1.14(@typesafeai)持平,落后于领先者 Drex Max v1.1(@NaceAI)和 GLiDE v1.2(@fastinoAI)7 分,后两者均得分 73。其定价为每 100 万输入 token 0.10 美元,在整个 Index 上每 100 万 Tasks 的成本为 345 美元,由于其定价更高,约为 Drex Max v1.1(103 美元)的三倍
Gemini Decision 1 的关键结果:
➤ 在 Decision Index 上尚未达到前沿水平:Gemini Decision 1 在 Artificial Analysis Decision Index 上得分 66。它在知识与推理基准测试中领先,在 AA-Omniscience-Decision 上得分 66,在 HLE-MultiChoice 上得分 49。它在其他评估中落后,包括我们全新的专有分类与抽取基准 AA-Paperclip,在该基准中,它在 33% 的文档上正确回答了全部 15 个问题,而 Drex Max v1.1 为 63%
➤ 每 Task 成本是领先模型的三倍以上:Gemini Decision 1 每 100 万 Tasks 的成本为 345 美元,而 Drex Max v1.1 为 103 美元,Jev 1.14 为 156 美元。这一差异源于其每 100 万输入 token 0.10 美元的 token 价格,而 Drex Max v1.1 为 0.03 美元。Gemini Decision 1 的每 100 万 Tasks 成本与 GPT-6 Luna(Decisions,339 美元)相近
➤ 推理任务校准表现强劲:我们使用 Brier 分数衡量校准,即模型为其所选答案分配的概率与该答案是否正确之间的平均平方差(越低越好)。Gemini Decision 1 在整个 Index 上的 Brier 分数为 0.18,介于 Drex Max v1.1(0.16)和 Jev 1.14(0.19)之间。校准因任务而异,其在 HLE-MultiChoice 上的 Brier 分数为 0.20,是 Index 中所有模型中最低之一,而在 When2Call 上为 0.14,相比之下 Drex Max v1.1 为 0.04
