Runway 开源 Praxis-1 机器人控制模型

作者:Tomislav Bezmalinović原标题:Runway's open-source Praxis-1 turns video AI into a robot controller
78AI 研判分

Runway 以 Apache 2.0 协议开源了机器人控制模型 Praxis-1 的权重与源码。该模型基于视频与机器人数据训练,可接收相机图像、文本指令和位置数据并输出对应动作,且能通过追加训练适配新机器人本体。局限在于易混淆相似物体,尚不能独立规划复杂动作序列。

报道正文

本文目录5 个章节

Runway 开源 Praxis-1,将视频 AI 变为机器人控制器

文本
  [Tomislav Bezmalinović](https://the-decoder.com/author/tomislav-bezmalinovic/)   2026年11月14日

图片描述

Runway

要点

  • Runway 已发布其机器人模型 Praxis-1,以 Apache 2.0 许可证开放权重和源代码。
  • 该模型基于视频和机器人数据训练,可处理相机图像、文本指令和位置数据,从而计算出相匹配的机器人动作。
  • 据 Runway 称,Praxis-1 可通过额外训练适配新的机器人系统。不过,该模型偶尔会混淆外观相似的物体,且目前尚无法可靠地自主规划复杂的动作序列。

询问关于本文… 搜索

AI 公司 Runway 已发布其机器人模型 Praxis-1,开放了权重和源代码。该模型利用从视频中学到的知识来控制机器人,并在公司自身的测试中展现出令人鼓舞的结果。

Runway 已发布其用于控制机器人的 AI 模型 Praxis-1。该公司于 9 月下旬首次推出 Praxis-1,但最初仅向部分合作伙伴开放访问权限。在发布的同时,Runway 还发布了一份详细的研究报告,其中包含新的性能测试。

Runway 的模型权重和源代码以 Apache 2.0 许可证提供,该许可证允许商业使用。

Praxis-1 接收相机图像、文本指令以及有关机器人位置的信息。基于这些输入,它预测环境将如何变化,并计算出正确的机器人动作。随着新的相机帧不断传入,该模型会持续调整其控制。

Praxis-1 基于视频训练来构建机器人控制能力

Praxis-1 建立在一个视频模型的基础之上,该模型从普通影像中学习了物体的运动与交互方式。随后,Runway 利用人类动作视频和机器人数据对其进行了微调。这种方法有望减少对昂贵的机器人专用数据集的需求,而这类数据集传统上正是为训练此类系统而专门收集的。

Runway 最为人熟知的是 Gen-4.5 等生成式视频模型。借助 Praxis-1,该公司正将其视频研究引入机器人领域。Runway 将 Praxis-1 称为世界动作模型,它能够预测场景将如何变化,并据此推导出相应的机器人动作。自 9 月以来,机器人公司 Standard Bots、Noble Machines 和 Ultra 已在不同系统上测试 Praxis-1,包括一台人形机器人、一台工业机械臂和一台双臂仓储机器人。

Praxis-1 在世界动作模型中领先

Praxis-1 仍需要一些专门的机器人数据。根据其研究报告,为了将其适配到 Franka 机械臂,Runway 使用了公开 DROID 研究数据集中约 277 小时的录制数据。例如,这些录制数据展示了机器人抓取和移动物体的过程。对于双臂机器人,该公司使用了 1,400 至 2,600 小时的训练材料。Runway 在早期的训练阶段已经使用过 DROID 数据和其他机器人系统的数据。至于该方法总体上是否真的比没有通用视频预训练的可比模型需要更少的机器人数据,仍是一个未解的问题。

在 Nvidia 的 RoboLab-120 排行榜上,Praxis-1 取得了 46.2% 的成功率。该基准测试评估机器人模型在模拟环境中对 120 项任务进行分拣、抓取或堆叠物体的可靠性。FLUX 3 Action同样构建为世界动作模型,在相同测试条件下得分为 42.9%。这使 Praxis-1 位居世界动作模型类别之首。在总排行榜上,它排名第五,落后于两个 AI 智能体和两个采用不同架构的机器人模型。所有测试均由 Runway 自行进行,结果尚未经过独立验证。

在 DROID 数据上微调后,Runway 在真实的 Franka 机械臂上测试了该模型。两个模型都必须完成同样的十项任务,例如将香蕉放在盘子上或关上抽屉。每项任务尝试十次,Praxis-1 成功了 88 次,而 FLUX 3 Action 成功了 80 次。

Runway 还测试了 Praxis-1 向一种此前从未见过的机器人类型的迁移能力,使用的是来自一个带夹爪机械臂的移动机器人平台的数据,Google 此前曾用该平台开发 RT-1。该机器人的录制数据并未包含在 Praxis-1 此前的训练中。据 Runway 称,在约 95 小时的机器人数据上微调后,该模型在模拟测试中达到了 80% 的平均成功率。测试涵盖四类任务,包括抓取易拉罐、开关抽屉,以及将苹果放入抽屉。Google 最初的 RT-1 模型在同一基准测试中的得分为 52.4%。

Praxis-1 仍有明显局限

开发者可以在注册并同意访问条款后,从 Hugging Face 下载 Praxis-1。代码已在 GitHub 上发布。根据 Runway 的公告,除基础模型外,针对不同机器人预适配的版本也已提供。基础模型需要额外训练才能用于新的机器人系统。

标准模型版本需要一块 80 GB 显存的 GPU。根据 Runway 的显存估算,压缩版本应该能装进一块 32 GB 显存的 RTX 5090,不过 GitHub 文档称实际峰值显存占用尚未测量。

根据 Runway 的研究报告,该模型有时会混淆外观相似的物体,并且在面对模糊指令时表现吃力。对于较长的任务,需要明确列出各个步骤,因为 Praxis-1 目前还无法可靠地自行规划复杂的动作序列。

Runway 主要将 Praxis-1 视为一个用于快速执行机器人动作的系统。未来,它可以与将复杂任务拆解为各个步骤的通用 AI 模型协同工作。