Artificial Analysis 发布 AA-Robotics v0.1：评估大模型控制六轴机械臂的具身智能基准

Artificial Analysis

所有文章

2026 年 10 月 14 日

欢迎来到具身智能时代：AA-Robotics v0.1 正式发布

我们正式推出 AA-Robotics v0.1，这是一项研究预览版基准测试，旨在衡量前沿语言模型在理解、规划以及在物理世界中执行动作方面的表现。在 v0.1 版本中，每个模型被赋予控制一个六轴机械臂（包含 5 个关节和一个夹爪）的权限，并需完成一个简单的目标。今天，我们发布了首批八个任务的结果。

AA-Robotics v0.1

AA-Robotics v0.1 介绍

自 2026 年初以来，前沿语言模型在控制机械臂方面取得了巨大进步。我们现在认为，机器人技术的未来很可能涉及强大的通用智能体，因此得出结论：追踪语言模型在机器人任务中的进展将至关重要——即使前沿语言模型本身尚不适合直接用于生产环境的机器人应用。

AA-Robotics v0.1 是我们为验证这一观点而设计的最简单实验的研究预览版——即让语言模型在编码智能体框架（coding agent harnesses）中直接控制机械臂。在每个任务中，模型被赋予控制一个六轴机械臂（包含 5 个关节和一个夹爪）的权限，并有一个简单的目标。

我们发现，处于编码智能体框架中的前沿语言模型确实最近已具备直接操控机械臂以完成简单任务的能力。目前，它们的速度太慢且成本太高，无法用于任何类型的生产环境——比人类基线水平差了近两个数量级。我们预计这种情况会迅速改变。

GPT-6 Astra 在 AA-Robotics v0.1 中以 69 分位居榜首，紧随其后的是 GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1。GPT-6 Astra 平均每个任务耗时 30 分钟，成本为 16.36 美元。

AA-Robotics 评分

每个任务的平均分（0 到 100 分）· 所有任务

每次尝试满分为 100 分：完成任务得 100 分，部分完成则根据取得的进展得分。

八个任务

AA-Robotics v0.1 最初包含八个桌面任务，这些任务模拟日常活动，旨在评估一系列机器人能力：控制与灵巧性（如精确抓取和处理物体）、空间推理（如理解物体之间的相互作用），以及适应性（衡量模型对意外情况的反应）。

• [#### 按下红色按钮

目标：用夹爪按下按钮。通过标准：按钮闪烁。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=press-red-button#run-explorer)

• [#### 将鳄鱼玩具放入矩形框内

目标：将鳄鱼放入矩形框内。通过标准：鳄鱼完全位于矩形框内。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=place-crocodile-in-rectangle#run-explorer)

• [#### 将饮料倒入杯中

目标：将瓶中的饮料倒入杯中。通过标准：饮料在杯中，无洒漏，且无任何物品破损。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=pour-drink-into-cup#run-explorer)

• [#### 将积木整理入盒

目标：将四块积木全部放入盒中，然后盖上盖子。通过标准：所有积木均在盒内，且盖子平整闭合。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=tidy-objects-into-box#run-explorer)

• [#### 完成形状匹配挑战

目标：将积木放入底板，使其与图片匹配。通过标准：底板上的积木排列与图片一致。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=shape-matching-challenge#run-explorer)

• [#### 书写 hello world

目标：使用记号笔在纸上的黑色方框内写下“hello world”。通过标准：“hello world”字迹清晰可辨，且位于黑色方框内。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=write-hello-world#run-explorer)

• [#### 搭建最高塔

目标：使用泡沫积木搭建最高的塔。通过标准：塔能独立站立，且达到最大可实现高度。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=build-tallest-foam-tower#run-explorer)

• [#### 测量盒子尺寸

目标：测量盒子的长、宽和高。通过标准：每个维度的误差在 2 mm 以内。](https://artificialanalysis.ai/articles/aa-robotics?aa-robotics-run-task=measure-object-dimensions#run-explorer)

结果

各任务得分情况

• 满分（100）
• 部分得分（1 至 99）
• 零分（0）

每次尝试满分为 100 分：完成任务得 100 分，部分完成则根据取得的进展获得相应分数。

GPT 模型在 Codex 中运行，Claude 模型在 Claude Code 中运行，Gemini 4 Argon 在 Antigravity 中运行，所有模型均设置为高努力（high effort）模式。

任务

模型

使用夹爪按下按钮。

2 内获得满分

0 / 0

AA-Robotics 的工作原理

模型在一个隔离容器中运行，并接收简短的指令：如何访问机械臂（通过一个简单的 HTTP API）、机械臂型号（Hiwonder NexArm，无其他详细规格），以及如何提交尝试以标记为完成。它们可以通过四个摄像头观察场景——三个安装在桌子周围，一个安装在机械臂手腕上——并且可以在容器中编写和运行代码来规划并发送动作指令。

一旦模型提交了任务以供审查，最终状态将根据任务的通过标准进行评分。完全通过得 100 分，若任务未完成但取得部分成功，则给予相应分数。所有任务尝试均为 zero-shot（零样本）。

时间与成本

当前的语言模型在 AA-Robotics v0.1 基准测试中的速度大约比人类慢 100 倍，完成每项任务平均耗时约半小时，而人类的平均耗时仅为 20 秒。从整体来看，受测的五个模型中有四个表现相似，每项任务耗时均在 30 分钟左右，而 Gemini 4 Argon 则是最慢的，耗时达 52 分钟。然而，这些平均值掩盖了不同任务之间的巨大差异。

GPT-6 Astra 仅用 2.2 分钟就按下了红色按钮，而 Claude Fable 5.1 在执行第一个动作之前，花了大约十分钟来理解和规划。最大的差异出现在鳄鱼放置任务中：GPT-6.1 Sol 在五分钟后便宣布任务完成，而 Claude Opus 5.5 则用了 45 分钟，两者相差九倍。在所有任务中，Gemini 4 Argon 的行动最为迟缓，在执行第一个动作前平均花费 21 分钟进行观察和推理，这一时间几乎是其他任何模型的两倍。

每项任务耗时

每项任务的平均耗时（分钟）· 所有任务

AA-Robotics 得分与每项任务耗时的关系

每项任务的平均耗时（分钟）· 所有任务最具吸引力的象限模型帕累托前沿

在成本方面，人类与模型之间的差距相对较小：最具成本效益的模型成本约为按美国平均时薪支付的人工成本的十倍，而在耗时上则接近一百倍。在各模型之间，GPT-6.1 Sol 的成本最低，平均每项任务为 1.93 美元；而 GPT-6 Astra 的成本最高，达到 16.36 美元，是 Sol 的八倍多，但其得分仅高出 4 分（69 分对 65 分）。鉴于机械臂和场景的新颖性，以及模型必须处理的大量视觉信息，大部分成本都集中在输入端：70% 的支出用于上下文处理。

每项任务成本

每项任务的平均成本（美元）· 所有任务

AA-Robotics 得分与每项任务成本的关系

每项任务的平均成本（美元）· 所有任务最具吸引力的象限模型帕累托前沿

人工成本是根据手动完成任务所需的时间计算的，按每小时 37.81 美元定价，这是美国私营非农就业人员的全员平均小时收入（美国劳工统计局，2026 年 9 月初步数据）。

各模型的时间分配情况

不出所料，模型在初始任务阶段花费了大量时间校准机械臂并理解场景，这一过程一直持续到执行第一个动作。在此之后，大部分时间用于规划运动路径，而在每次较长的规划步骤之间，机械臂会进行相对短暂且精准的运动。摄像头视角切换和笔记记录所占的时间比例相对较小。

有趣的是，模型往往在达到通过状态后仍继续优化其尝试。例如，GPT-6.1 Sol 在约 17 分钟后构建了一座合格的塔，但随后却未能完成任务。模型如何提升其在物理空间中推理任务完成度的能力，仍有待观察。

每次运行中的活动分布

运行时长（分钟）Task

0 已耗时 5 项中已完成 0 项

• 理解场景、机械臂及运动方式

• 规划运动路径

• 查看摄像头画面

• 机械臂运动

• 其他

• 首次动作

• 首次达到通过状态

• 不可挽回的错误

“其他”包括等待代码运行、撰写笔记以及生成最终报告。

“首次动作”指一次运行中第一次按压、抓取、推动、倾倒或笔触操作。

“不可挽回的错误”意味着模型已无法获得满分。

Gemini 4 Argon 的活动时间是估算值：Antigravity 不会为每个步骤添加时间戳，因此步骤被放置在精确计时的机械臂指令之间，并按其 token 数量成比例分配。

物理精度

抓取和精细操作是 AA-Robotics v0.1 中测试的关键技能，因为它们不仅指向更精确的控制任务，更重要的是指向工具使用及其解锁的更广泛能力范围。

GPT-6 Astra 和 Claude Fable 5.1 表现最佳，成功尝试比例最高（约 45%），显示出一定程度的近距离控制能力；而 GPT-6.1 Sol 得分最低，为 28%。Gemini 4 Argon 介于两者之间，为 36%，其许多失误仅略微高于或偏离目标方块。

每次抓取尝试的结果

抓取尝试占比 (%) · 涉及抓取的 6 个任务

• 成功抓取
• 未抓到、部分抓取或抓错物体

GPT-6 Astra 45% 55% n = 95 Claude Fable 5.1 44% 56% n = 89 Claude Opus 5.5 40% 60% n = 100 Gemini 4 Argon 36% 64% n = 75 GPT-6.1 Sol 28% 72% n = 111

在放置鳄鱼、倒饮料、整理盒子、形状配对、搭建塔楼和测量盒子等任务中进行了抓取尝试。成功定义为在抬起或搬运过程中稳固地握住目标物体；失败、部分成功或抓错物体则指夹爪未能闭合在物体上、闭合后物体滑脱、无法抬起，或误抓了其他物体。

错误集锦

将鼠标悬停在视频片段上可查看具体错误原因，点击片段可放大查看。我们精选了一些最具代表性的案例！

对成功或失败的误判——以及何时停止操作

物理推理能力不足

抓取失误、放置偏差及掉落

阅读最新动态

[

Artificial Analysis Decision Index v1.0

Artificial Analysis Decision Index 旨在对决策模型进行基准测试。这是一类新型模型，能够在单次调用中针对结构化决策给出每个选项的概率。v1.0 版本综合了四项评估，涵盖分类、工具调用、知识、幻觉和推理能力。

2026年10月13日](https://artificialanalysis.ai/articles/artificial-analysis-decision-index)[

发布 AA-3D：用于评估 AI 模型构建交互式 3D 体验能力的基准测试

AA-3D 是一个全新的基准测试，用于评估 AI 模型构建交互式 3D 体验的能力。每个模型需根据书面简报在离线沙盒中生成一个可运行的 three.js 场景，随后由招募的评审小组通过盲测成对投票的方式比较这些场景。

2026年10月12日](https://artificialanalysis.ai/articles/aa-3d)[

在 Artificial Analysis 上发布 FrontierCode：AI 模型能否编写出维护者愿意合并的代码？

Cognition 的 FrontierCode 1.1 测试 AI 模型所做的代码更改是否能被真实开源仓库的维护者接受并合并。目前领先的模型仍有超过 40% 的情况会失败。

2026年10月12日](https://artificialanalysis.ai/articles/frontiercode)