Artificial Analysis (@ArtificialAnlys) · 2026/10/13 07:40:28

Artificial Analysis 发布 AA-3D 基准:以 Elo 排名评估大模型构建交互式 3D 场景能力

出处作者 / 发布主体:Artificial Analysis (@ArtificialAnlys)原标题:We have measured intelligence. Now it's time to see it.
78AI 研判分
核心综述

Artificial Analysis 推出全新基准测试 AA-3D,专门评估 AI 模型作为智能体在离线沙盒中根据文字简报构建交互式 three.js 3D 场景的能力。该基准通过超过 10,000 次人类盲测投票生成 Elo 排名,结果显示 Claude Sonnet 5.5 等四款模型并列榜首,而 GPT-6 Luna 虽成本最低但排名第八,揭示了模型在复杂空间逻辑与代码生成上的显著差异。

报道全文原始报道全文

Artificial Analysis (@ArtificialAnlys) · 2026-10-12 23

我们已经量化了智能。现在,是时候见证它了。

我们即将推出 AA-3D,这是衡量 AI 模型构建交互式 3D 场景能力的新基准测试。每个模型作为代理(agent)在离线沙盒中运行,将书面简报转化为 three.js 网页。由人类评审团对基于同一简报生成的成对场景进行比较,且不知道哪个场景是由哪个模型制作的。

AA-3D 详情:

➤ 涵盖七个领域的 55 份书面简报,包括地标、机器、生物体、游戏和太空。每份简报规定了场景必须展示的内容以及用户应如何与之交互,其余部分留给模型自行决定

➤ 每个模型最多拥有三小时时间和 250 个回合。其沙盒环境包含 Blender、Rapier 物理引擎、Python、用于测试自身工作的无头浏览器,以及一个 CC0 许可的材质、3D 模型和角色库

➤ 评审员在投票前至少需浏览每个场景 30 秒。每四次比较中就有一次是验证检查

➤ 来自 1,000 多名评审员的超过 10,000 张有效选票根据 Elo 分数对 21 个模型进行排名,并附带 95% 置信区间

关键发现:

➤ 四个模型在统计上并列第一:Claude Sonnet 5.5 (1194)、Claude Opus 5.5 (1190)、GPT-6 Astra (1165) 和 Claude Fable 5.1 (1131)。其他三个模型的 95% 置信区间与 Claude Sonnet 5.5 的区间重叠

➤ AA-3D Elo 分数随智能水平提升而上升:Artificial Analysis Intelligence Index 上的每一点大约相当于 18 个 Elo 分(皮尔逊相关系数 0.92)

➤ 排名最高的开源权重模型 Kimi K3 (982) 和 MiMo-V2.6-Pro (977) 分别位列第 11 和第 12 名,落后第一名超过 200 分

➤ 生成一个场景的成本在 0.20到0.20 到 32.08 之间,具体取决于模型。成本最低的 GPT-6 Luna 排名第八

更多结果、更多场景以及 AA-3D 的工作原理详见下方推文串。

推文配图