Artificial Analysis 发布 v5 智能指数与进度指数

原标题:On Tuesday, we brought together partners and friends in San Francisco to launch Artificial Analysis ...
78AI 研判分

Artificial Analysis 在旧金山发布 Intelligence Index v5,新增两项基准并强化对代理编码和科学任务的权重,首次将多数测试集设为私有。同时推出基于项目反应理论的 Progress Index,旨在通过单一能力尺度追踪模型长期演进趋势,与用于选型当前模型的 Intelligence Index 形成互补。

报道正文

Artificial Analysis (@ArtificialAnlys) · 2026-10-29 19

周二,我们在旧金山召集合作伙伴与好友,共同发布 Artificial Analysis Intelligence Index v5(智能指数 v5)以及全新的 Progress Index(进步指数)。

Micah Hill-Smith (@_micah_h) 介绍了 Intelligence Index v5,其中包括两项新基准测试和三项升级,显著增加了对 agentic coding(智能体编程)和科学领域的权重。首次实现的是,该指数的大部分评估基于私有测试集或保留答案(held-out answers)。

我们还推出了 Artificial Analysis Progress Index,它利用项目反应理论(item response theory),根据随时间推移在数十项评估中测得的数据,估算每个模型的通用能力分数,这些评估包括那些已退役或被排除在 Intelligence Index 之外的项目。该指数建立在 @EpochAIResearch 和 @AnthropicAI 的先前工作基础之上,旨在将模型置于单一的能力尺度上。Intelligence Index 仍是选择当前特定用例所用模型的旗舰指标;而 Progress Index 则是绘制长期趋势的更佳工具。

George Cameron (@grmcameron) 主持了一场讨论,嘉宾包括来自 @cognition 的 Silas (@silasalberti)、来自 @Stanford 及 Terminal-Bench-Science 的 Steven (@StevenDillmann),以及我们团队的 Declan Jackson,主题是如何随着模型能力的提升构建评估体系。

当晚还涵盖了我们关于 3D 建模、个性特征、网络防御、定制企业级评估以及机器人技术的工作。感谢我们的演讲者、合作伙伴以及所有到场的朋友!

探索 Intelligence Index v5:

推文配图

推文配图

推文配图

推文配图