英伟达发布 GR00T 2 从人类视频学习机器人动作

Nvidia 的模型 GR00T 2 通过视频观察人类，然后把自己想象成机器人

  [Maximilian Schreiner](https://the-decoder.com/author/maximilian-schreiner/) [查看 Maximilian Schreiner 的 LinkedIn 个人资料](https://www.linkedin.com/in/maximilian-schreiner-b6a5171aa/)   2026年11月10日      

Nvidia

为了让机器人学会新任务，人类通常必须在训练期间费力地对其进行远程操作。Nvidia 的新 AI 模型 GR00T 2 旨在通过将视频中的人类动作迁移到机械臂上，来减少这种投入。

要训练机器人完成新任务，工程师通常要花数小时远程操控这些机器。这种所谓的远程操作成本高昂、速度缓慢，而且每个机器人模型都需要自己的数据。在一份关于 GR00T 2 的新研究报告 中，Nvidia 推出了一款旨在缩短这一过程的新 AI 基础模型。

与以往的方法（包括其前代 GR00T 1）不同，GR00T 2 不会将摄像头图像和语言指令直接转换为电机动作。Nvidia 表示，该软件的工作方式就是公司所称的世界-动作模型。它会同时计算下一个动作和一段关于近期未来的短视频。例如，该系统会预测当机械臂拿起物体时，摄像头图像应当如何变化。

与前代不同，GR00T 2 不再是视觉-语言-动作模型。Nvidia 将其称为世界-动作模型（WAM），它还会通过扩散预测自己未来将看到什么。| 图片：Nvidia

这种视频预测应当能让模型在不同机器人形态之间迁移动作序列。Nvidia 在一个拥有超过一千块 GB300 芯片的集群上训练了该系统，其中包括约 40 万小时的视频素材，展示了人们佩戴头戴式摄像头执行各种任务的过程。

研究人员表示，要教会机器人一项新任务，一个人只需使用数据手套、专用手部夹爪或手指外骨骼演示这些步骤就足够了。当这些记录在训练期间与目标机器人的通用运动数据相结合时，AI 会在其视频预测中生成机械臂而非人类手臂，并据此推导出匹配的控制指令。

在实验室测试中，一只配备五指机械手的机器人能够以这种方式点燃火柴、切香蕉或将包裹抛到传送带上，而无需针对这些具体任务进行远程操作。

成功率因任务而异，在10%到80%之间。仅凭一段人手动作的视频，该系统还通过计算机模拟学会了钉钉子。在50个选定任务中，模型在仅学习少量示例后就已经表现良好，不到三分钟的常规训练就足以将成功率从40%提升到95%。

更高层级的语言模型有助于纠错，但会拖慢机器人速度

对于较长的装配工作，Nvidia将该系统与更高层级的AI语言模型（如OpenAI的GPT-6 Astra）配对使用。GR00T 2负责抓取动作，而语言模型则将任务分解为各个步骤，在相机图像中对抓取点进行颜色标记，并在零件掉落时启动辅助程序。

当研究人员将玩具模型的散落零件无序地放在桌上时，组合系统在至少97%的试验中成功完成了组装。在没有纠错语言模型和额外微调的情况下，玩具车组装仅在100次尝试中成功23次。该团队还通过在真实设备上反复试错，训练了插入网线或充电器等精密任务。

针对双足机器人，Nvidia开发了精简版本GR00T 2 Turbo，它处理的图像细节更少。它直接运行在人形机器人的Jetson Thor板载计算机上。在测试中，该机器能够舀爆米花、清理桌面，并用脚下的毛巾擦拭液体。不过，最后一项任务的成功率略低于一半。

研究团队指出，在系统准备好投入可靠的现实世界使用之前，仍存在重大障碍。该模型尚未处理直接的触觉传感器数据，有时会遗漏诸如螺丝只转了一半之类的细微错误。更高层级的语言模型也会显著拖慢速度。在垃圾分类过程中，机器人约有三分之一的总时间处于空闲状态，因为它平均需要等待超过七秒才能获得规划模型的下一次计算结果。

其他实验室也在寻找用更少遥操作来教机器人新任务的方法。我们在 AI Radar #5 关于 Neolabs 的报道 中介绍了其中一些。