Artificial Analysis 发布 AA-3D 基准：以 Elo 盲测评估大模型构建交互式 three.js 场景能力，Claude Sonnet 5.5 领跑Artificial AnalysisT1基座大模型

Artificial Analysis · 2026/10/12 08:00:00

Artificial Analysis 发布 AA-3D 基准：以 Elo 排名评估大模型构建交互式 three.js 场景能力

出处作者 / 发布主体：Artificial Analysis原标题：Announcing AA-3D: a benchmark for AI models building interactive 3D experiences

68AI 研判分

核心综述

Artificial Analysis 推出 AA-3D 基准，专门评估 AI 模型将文本简报转化为可交互 three.js 网页的能力。该测试采用离线沙盒代理模式，通过盲测配对投票计算 Elo 分数，Claude Sonnet 5.5 以 1194 分位居榜首并与多款 Anthropic 及 OpenAI 模型统计持平。

报道全文原始报道全文

本文目录32 个章节

Artificial Analysis

所有文章

2026 年 10 月 12 日

发布 AA-3D：一个用于评估 AI 模型构建交互式 3D 体验能力的基准测试

AA-3D 衡量 AI 模型构建人们愿意探索的交互式 3D 场景的能力。每个模型在离线沙盒中作为智能体运行，将书面简报转化为 three.js 网页。我们招募的小组对基于同一简报构建的场景进行成对比较，且不知道哪个模型生成了哪个场景，随后我们通过 Elo 评分对模型进行排名。Claude Sonnet 5.5 以 1194 分位居榜首，与另外三个来自 Anthropic 和 OpenAI 的模型在统计上持平。

AA-3D 排行榜尝试 AA-3D 投票阅读方法论这是最初的发布文章，展示了截至发布时的 AA-3D v1.0 结果。如需查看最新模型的实时结果，请参阅 AA-3D 排行榜。

AA-3D v1.0 排行榜

AA-3D Elo

基于盲测成对投票的 Elo 分数 · 95% 置信区间 · 分数越高越好 · 数据截至 2026 年 10 月 12 日

Claude Sonnet 5.5 拥有最高的 Elo 分数，为 1194，但前四名在统计上持平：它们的 95% 置信区间均与 Claude Sonnet 5.5 重叠。

这四款模型均来自 Anthropic 和 OpenAI。Meta 的 Muse Spark 1.3 以 1035 分位列第七。表现最佳的开源权重模型 Kimi K3（982 分）和 MiMo-V2.6-Pro（977 分）分别位列第 11 和第 12，落后超过 200 分。

如需获取最新结果，请参阅 AA-3D 排行榜。

亲自尝试

探索由两个不同模型针对同一简报构建的场景，然后选择你更喜欢的一个，以揭示是哪个模型构建了它。在此处投出的票不计入排行榜。

AA-3D 如何运作

每个模型在离线沙盒中作为智能体运行。它会收到一个交互式场景的书面简报，以及所有任务共享的交付契约。它编写代码、渲染场景、查看自己的截图并进行修订。沙盒包含 Blender、Rapier 物理引擎、Python、无头浏览器以及 CC0 资产库。一次运行在 3 小时或 250 轮后停止，最终生成一个可在浏览器中运行场景的 index.html 页面。

观看场景构建过程

GPT-6 Astra 在 6 分钟后生成首个完整页面，并于 68 分钟时完成全部工作。Claude Sonnet 5.5 直到第 42 分钟才显示任何内容，并持续运行至 2 小时 58 分钟。
Claude Sonnet 5.5 的输出 token 数量是 GPT-6 Astra 的 6.2 倍，但成本仅为后者的 1.3 倍。其单次运行成本为 14.93 美元，而 GPT-6 Astra 为 11.62 美元；此外，Claude Sonnet 5.5 的标价仅为 GPT-6 Astra 的五分之一。

探索场景

选择领域、任务和模型，以加载该模型构建的场景。

任务

模型

创建一个进行举重训练的成年男性交互式场景，通过视图展示其解剖学上准确的肌肉、骨骼和器官结构。

正在加载场景

在盲测投票中，21 个模型中有 21 个为此任务提供了场景。

HUD

AA-3D 场景的成本

根据模型不同，单个场景的成本介于 0.20 美元至 32.08 美元之间。GPT-6 Luna 成本最低，而 Claude Fable 5.1 成本最高。输入（Input）占总支出的 69%，这是因为智能体在每一轮对话中都会重新发送完整的上下文。在前五名模型中，GPT-6 Sol 的单场景成本最低，为 3.46 美元。Claude Sonnet 5.5 的成本是其 4.4 倍，而 Claude Fable 5.1 则是其 9.3 倍。

AA-3D 单场景成本

按 token 类型划分的平均单场景构建成本（美元）· 数值越低越好 · 数据截至 2026 年 10 月 12 日

未显示 Inkling，因为我们没有其代表性的缓存命中率数据。

GPT-6 Luna 的单场景成本为 0.20 美元，但仍排名第八。它构建了全部 55 个场景。Kimi K3 的单场景成本高出 68 倍，但 Elo 评分却与之相近。

AA-3D Elo 与单场景成本对比

平均单场景构建成本（美元，对数刻度）· 数据截至 2026 年 10 月 12 日最具吸引力象限帕累托前沿线

未显示 Inkling，因为我们没有其代表性的缓存命中率数据。

AA-3D 揭示的 3D 构建规律

顶尖模型尽早审视自身成果

前五名模型通常在 10 到 13 轮对话后首次查看自己生成的场景图像，且至少 89% 的场景在第 20 轮前已完成查看。排名第 14 至 20 位的模型则等到第 15 至 40 轮才开始查看。在支持图像查看功能的 19 个模型中，早期查看行为与 Elo 评分高度相关（Spearman 系数为 0.82）。前五名模型也更早开始在浏览器中进行测试，中位数为第 16 轮，而其他模型为第 25 轮。查看频率的重要性低于查看时机。MiniMax-M3 每个场景查看自身图像 54 次，高于其他所有模型，但其仅有 7% 的场景在第 20 轮前完成查看，最终排名第 19 位。

AA-3D Elo 与早期视觉检查对比

模型在第 20 轮前查看自身生成图像的场景占比 · 数据截至 2026 年 10 月 12 日

图表展示了具备图像查看工具的 19 个模型。GLM-5.3 和 Nemotron 3 Ultra 仅支持文本输入，它们在未“看到”场景的情况下构建了这些场景。

细节更丰富的场景获得更多投票，且由更强的模型构建

在每个任务中，细节最丰富的前 20% 场景其截图大小是其余部分的 2 倍（168 KB 对比 84 KB），空白区域占比仅为后者的三分之一（22% 对比 60%）。这些高细节场景赢得了 63% 的选票，而细节最少的前 20% 场景仅赢得 31%。仅凭模型的 Elo 分数即可预测出 61% 和 33% 的得票率，这表明高细节场景主要出自更强的模型。这些数据无法证明细节是否是构成模型强大能力的一部分。在单一模型内部，这种影响较小：比该模型其他场景标准差高出 1 个单位的更详细场景，其得票率仅增加约 1.5 个百分点（根据细节衡量指标的不同，范围在 1.3 到 1.8 之间）。在 86 项场景衡量指标中，有 11 项通过了多重比较校正：包括各项细节指标、渲染分辨率与抗锯齿、每帧 GPU 时间以及页面元素数量。没有任何一项指标能使得票率变动超过 4 个百分点。

AA-3D 按场景细节划分的得票情况

实际得票份额与基于模型 Elo 预测的得票份额之比 · 数据截至 2026 年 10 月 12日 · 在各任务内按细节对场景进行排名

细节综合了四项截图衡量指标，定义见《细节衡量指标》章节。在同一模型和任务下，细节每增加一个标准差，得票率提升 1.5 个百分点（p = 0.001, q = 0.011）。共包含 1,008 个场景，排除了 23 个在投票页面出现错误的场景。

OpenAI 的 GPT-6 系列模型构建的 3D 场景优于其通用智能水平所预测的表现

通用智能在 AA-3D 中起着重要作用。Artificial Analysis Intelligence Index 每增加 1 分，对应约 18 点 Elo 分数（Pearson 相关系数 0.92），这一拟合度高于 Terminal-Bench 4.0（0.81）或 SciCode（0.76）。GPT-6 Luna 和 GPT-6 Sol 超越这一趋势的程度超过任何其他模型，分别高出 141 和 93 点 Elo，GPT-6 Astra 则高出 46 点。GLM-5.3 偏离趋势最远，低了 197 点。它无法查看图像，这可能解释了部分差距：Z AI 的 GLM-5.3-Flash 具备图像查看能力，尽管其 Intelligence Index 较低，但得分却高出 149 点。同样仅支持文本输入的 Nemotron 3 Ultra 则大致符合这一趋势。

AA-3D Elo 对比 Intelligence Index

Artificial Analysis Intelligence Index · 数据截至 2026 年 10 月 12日 · 线性拟合，每点对应 18 Elo

当关系在图表坐标轴上呈线性时，我们使用 Pearson 相关系数 r；当某个模型可能主导 r 值或某项指标仅取少数几个值时，我们使用 Spearman 秩相关系数。当相关系数的 95% 置信区间包含零时，我们称该相关性不显著。

大多数场景使用素材库，但素材本身并不赢得投票

四分之三的场景使用了 CC0 素材库中的内容，这符合共享指令的鼓励方向，且更频繁使用该库的模型往往排名更高（Spearman 相关系数为 0.53）。但在考虑对手因素后，模型的“库场景”获胜频率并不高于其其他场景。GPT-6 Luna 仅在其三分之一的场景中使用该库，但仍排名第八。

AA-3D 素材库使用情况

交付或声明使用 CC0 库素材的场景占比 · 数据截至 2026 年 10 月 12 日

详细结果

输出更多的模型得分并不更高。输出 token 数与 Elo 评分之间没有明显关联（Spearman 相关系数为 0.33，不显著）。Claude Sonnet 5.5 的输出量最大，每个场景产生 56.9 万输出 token，其中约三分之二用于推理。GPT-6 Sol 输出 10.9 万 token，排名第五。输入 token 占总 token 数的 97% 到 99%，且大多数模型几乎全部从缓存中读取这些输入。

AA-3D 每场景输出 Token 数

每场景平均推理和回答 token 数 · 数值越低越好 · 数据截至 2026 年 10 月 12 日

轮次更多的模型同样不会获得更高分数。轮次数与 Elo 评分之间没有明显关联（Spearman 相关系数为 -0.27，不显著）。GLM-5.3 在 64% 的场景中达到了 250 轮的极限。GPT-6.1 Sol 和 GPT-6 Astra 的中位轮次仅需 56 和 60 轮，但它们每一轮耗时约两分钟，大部分时间花在模型计算上。

AA-3D 每场景轮次数

每场景智能体轮次分布（上限为 250 轮）· 第 5 百分位、第 25 百分位、中位数、第 75 百分位、第 95 百分位 · 数值越低越好 · 数据截至 2026 年 10 月 12 日

智能体将 82% 的工具使用时间花在浏览器中测试页面。浏览器测试（截图或检查错误）仅占所有工具调用的三分之一。然而，每次耗时 33 到 38 秒，它们占据了每场景 30.7 分钟工具时间中的约 25 分钟。编写代码仅占六分之一的调用次数，且只占工具时间的 6%。排名前五的模型读取文件和文档的频率约为其他模型的一半（每场景 9.4 次对比 18.7 次）。在所有 21 个模型中，读取越少与更高的 Elo 评分呈正相关（Pearson 相关系数为 -0.74）。

AA-3D 每场景工具调用数

按用途划分的每场景平均工具调用次数 · 数据截至 2026 年 10 月 12 日

我们将所有工具调用按用途分为五组，再按具体命令细分子类。浏览器测试要么保存截图，要么仅读取错误信息。代码调用用于写入或修补文件，或读取文件及随附的 three.js 文档。资产调用则用于浏览 CC0 素材库、使用 Python 处理图像或运行 Blender。图像视图让智能体查看自身的工作成果（主要是页面截图，也包括联系表 contact sheets 和纹理贴图）、资产预览图或来自需求简报的参考图。

头部模型在页面上放置了更多可供点击和交互的元素。前五名模型每个场景的中位按钮及其他控件数量为 15 到 20 个，而最后三名仅为 6 到 8 个；控件数量与 Elo 评分高度相关（皮尔逊相关系数为 0.90）。速度并非区分各模型的因素：在我们的测试机上，每个模型中位帧的 GPU 耗时均低于 1.3 毫秒，远低于 60 fps 帧率所允许的 16.7 毫秒上限。

AA-3D Elo vs. UI Controls

每个场景中可见按钮和输入框的中位数 · 数据截至 2026 年 10 月 12 日

几乎在所有领域，排名靠前的模型都表现最佳。在前五名模型中，有六个领域的胜率位居榜首。在“生物躯体”这一领域，综合排名第 6 的 GPT-6.1 Sol 与 Claude Sonnet 5.5 并列第一，两者差距不到 1 分。前五名模型在各个领域也都表现出色：在每个领域中，它们相对于在该领域遇到的对手的实际胜率，与其整体 Elo 预测的胜率偏差不超过 12 分。在其他模型的 112 个单元格中，仅有 6 个偏差超过此范围，其中 3 个已被置灰。每个单元格基于 2 到 10 个场景，中位数为 7 个。我们对少于 5 个场景的单元格进行置灰处理，且小于约 12 分的差异均在噪声范围内。

AA-3D Win Rate by Domain

各任务领域中获得的评审团投票占比 · 基于 10,000+ 评审团投票 · 数据截至 2026 年 10 月 12 日

请在 AA-3D 排行榜上探索完整结果。

智能体运行内部解析

选择一个任务，即可在共享时间轴上回放每个模型的运行过程。将鼠标悬停在轨道上可查看每一步操作，点击则可查看时间分配详情。

GPT-6 Sol 是前五名模型中在全部六项任务上速度最快的。其单次运行的中位耗时为 60 分钟，而其他四款模型则为 115 至 151 分钟。
前五名模型并未比其余模型进行更多的测试。作为一个整体，它们将 25% 的时间用于浏览器测试，与其他模型大致相当。
每一次前五名模型的运行都会查看自身的场景。GLM-5.3 和 Nemotron 3 Ultra 仅支持文本模态，因此它们的 12 次运行均未执行此操作。

下一步计划

随着新模型的发布，我们将持续在 AA-3D 排行榜中添加新模型。

AA-3D 资源

AA-3D 排行榜提供完整结果，并随新模型发布实时更新
尝试 AA-3D 投票，亲自对比场景效果
方法论页面详细说明了生成设置、场景检查以及 Elo 分数的计算方式
AA-3D 基于 Stirrup 运行，这是我们的开源智能体框架（agent harness）

阅读最新动态

[

Artificial Analysis 推出 FrontierCode：AI 模型能否编写维护者愿意合并的代码？

Cognition 的 FrontierCode 1.1 旨在测试 AI 模型所做的代码更改是否能被真实开源仓库的维护者接受并合并。目前领先的模型仍有超过 40% 的情况无法通过测试。

2026年10月12日](https://artificialanalysis.ai/articles/frontiercode)[![](https://cdn.sanity.io/images/6vfeftx9/articles/e275e93d1913b1e5f1c8f2f4fc1d75b274c6a96c-1092x1092.png?w=240&auto=format)

Muse Wonder 和 Muse Wonder Full：相比 Meta 前代模型实现智能水平的显著跃升

Meta 发布了 Muse Wonder 和 Muse Wonder Full，在最大推理努力（max reasoning effort）下分别取得了 Artificial Analysis Intelligence Index v4.3 得分 52 和 56。相较于 Muse Spark 1.3（最大推理努力）的 48 分，两者均实现了显著提升，且发布时间间隔仅 6 周。

2026年10月12日](https://artificialanalysis.ai/articles/muse-wonder)[![](/api/v1/file/hot_img_3ce75d728763a55e9f3b1cc51fef1c10.webp)

推出 Harvey LAB-AA v1.1：引入幻觉检查，提升代理式法律工作的标准

Harvey LAB-AA v1.1 新增了幻觉审计功能，引入了“幻觉门控全通过率”（Hallucination-Gated All-Pass Rate）这一核心指标，采用三评委评分机制，并结合了 Harvey 最新的私有数据集及改进的任务与评估标准。

2026年10月8日](https://artificialanalysis.ai/articles/harvey-lab-aa-v1-1)