术语slug: calibration-error

校准误差

Calibration Error

衡量模型输出概率与实际正确频率偏差的指标,数值越低表示置信度越可靠

收录情报动态

共 4 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·基座大模型
78 分
Liquid AI 发布决策模型 d1.2 支持多模态概率输出

Liquid AI 发布 d1.2 与 d1.2-ultra 决策模型,不再生成 token,而是接收状态与结构化问题,单次调用返回每个选项的校准概率,并新增读值、跨度定位、画框、区间估计、多选等 5 种答案类型。d1.2-ultra 在 Artificial Analysis Decision Index v2.1 上得分 75,领先竞品 2 分,校准误差 0.8 远优于对比模型的 3.7。代价是 d1.2 得分仅 69、落后 8 个模型,且参数量、延迟与权重均未披露。

新智元 (微信公众号)T2·基座大模型
78 分
谷歌发布 Gemini Decision 1 决策模型 输出 Token 全免费

谷歌正式上线 Gemini Decisions API,由首个多模态决策模型 Gemini Decision 1 提供支持,专为封闭式选择题场景设计。该模型支持 Yes/No、最高 255 项多选与评分标准打分三种原生决策类型,单次可处理 1000 个问题,输入定价低至每百万 Token 0.10 美元且输出 Token 完全免费。在多项基准测试中,它以最低校准误差取得领先,标志着大模型从生成式输出向结构化决策接口的延伸。

InfoQ 中文T2·基座大模型
88 分
谷歌发布决策专用模型 Gemini Decision 1 单次前向替代逐字生成

谷歌发布 Gemini Decision 1 及配套 Decisions API,放弃逐字生成,改为单次前向传播对预设候选答案评分,直接返回判断结果、概率与置信度。该模型支持是/否、最多 255 项多选与评分标准打分三类任务,单次可处理最多 1000 个问题,端到端延迟 150~250 毫秒,输入定价每百万 Token 0.10 美元且输出免费。谷歌称其在 9 项基准测试中拿下 7 项第一,最高准确率 92.2%,并已在内部搜索与产品场景落地。

Marktechpost (@Marktechpost)T2·基座大模型
78 分
谷歌发布 Gemini Decisions API 单次前向输出概率评分

谷歌推出 Gemini Decisions API,由 Gemini Decision 1 模型驱动,将大模型从文本生成转向结构化评分:单次前向即可对最多 1000 个是非题、选择题或评分标准题输出校准概率与置信度,输出 token 恒为 0。在谷歌自测的 9 项准确率基准中领先 7 项,JevBench 达 92.2%,校准误差 0.0250 约为竞品一半,但 When2Call 以 79.9% 落后于 TypeSafe Jev 1.14 的 82.0%。定价为每百万输入 token 0.10 美元、输出免费,端到端延迟 150-250 毫秒。