Artificial AnalysisT1·58 分
Artificial Analysis 发布决策指数 v2 引入校准置信度指标
原标题:Introducing the Artificial Analysis Decision Index v2
- 私有数据集占比由 25% 升至 45%,新增 1500 份文档的 AA-Paperclip 基准(占 30%)
- 新决策分数同时奖励答案正确性与置信度校准,答对高于 50 分、答错低于 50 分
- Mammoth 27B 与 GPT-6 Luna 分差在 4 分内,但速度快 118 倍