Nvidia 开源 Flora 机器人视频标注引擎，成本降至 GPT-6 的 1/125

Nvidia 承诺通过其开源数据引擎 Flora，将机器人视频标注成本从每小时 88 美元降至 72 美分。但与 GPT-6 Astra 相比，这一价格优势并不像标签所示那样悬殊。

用于机器人的大型 AI 模型需要从带有文本注释的视频中学习，而根据 Nvidia GEAR 研究实验室的说法，这需要三种类型的标签。第一类是视频中动作发生时间的描述，用于选择训练数据；第二类是对机器人逐步执行进度的评分，使其能够通过试错进行学习；第三类是关于任务是否成功完成的判断，用于在部署期间监控机器人。现有的大多数工具仅提供其中一种类型。像 GPT-6 Astra 这样的大型语言模型可以生成多种标签，但面对海量的视频数据时，其成本过于高昂。

Flora 将视频分解为时间片段，描述每个动作，并评估一次执行的过程和结果。| 图片：Nvidia

根据论文所述，Flora 涵盖了上述所有三种标签类型。Nvidia 表示，该系统已在其 GR00T 模型的训练过程中运行，每天在 512 块 GB300 GPU 上对多达 200,000 小时的视频进行标注。这些模型可在 Hugging Face 上获取。

Video 3 Flora 由三个经过微调的 Qwen3.5 模型组成。一个 9B 参数的模型负责将视频分割为动作片段，另一个 27B 参数的模型则在考虑每个动作前后发生情况的基础上对其进行描述。第二个名为 Flora-Rewarder 的 27B 参数模型会根据提示词承担三种角色：它按 1 到 5 分的等级评估一次执行的成功率，将每半秒的步骤分类为正常、次优或失败，并根据自定义的评分标准分配分数。

分割模型和字幕生成模型负责产出带时间戳的描述，而单一奖励模型则生成所有三种类型的评分。| 图片：Nvidia

据 Nvidia 估算，成本降低高达 125 倍

在一项包含 50 个视频的测试中，Nvidia 表示 Flora 的表现略优于 GPT-6 Astra，尽管 OpenAI 的模型被允许使用其完整的推理能力。根据 Nvidia 的估算，使用 Flora 标注一小时视频的成本约为 0.72 美元，而使用 GPT-6 Astra 则需约 88.50 美元。在同一测试中，Claude Opus 5 的表现明显较差，且每小时成本仍约为 42 美元。

根据 Nvidia 的数据，Flora 在每视频小时 0.72 美元的成本下达到了 57.1% 的标注质量，而 GPT-6 Astra 在 88.49 美元的成本下仅达到 53.7%。| 图片：Nvidia

不过，Flora 的成本数据仅为预测值，并非实际生产环境中的测量结果。Nvidia 是基于假设的 GPU 租赁价格（每小时 10 美元）进行计算的。

Flora 更擅长发现动作，但 Astra 通常描述得更精准

在公开的 WGO-Bench 基准测试中，Flora 在检测动作边界方面表现最佳，但在整体得分上落后于 Astra，并且在纯描述准确性方面不及 Gemini 3.8 Flash。研究人员指出，性能提升主要得益于时序定位能力的增强。

在 Nvidia 自建的 DenseCaptionBench 基准测试中，针对人类录制视频，Flora 在所有指标上均领先；但针对机器人视频，该模型排名第二，落后于 Astra。研究人员也承认存在一个方法论上的缺陷：GPT-6 Astra 既作为评估模型对描述进行打分，同时也是被测模型之一。

Flora 在人类录制数据、结果评分和逐步评级方面领先，而 GPT-6 Astra 则在 WGO-Bench、机器人视频和评分标准（rubric）打分上胜出。| 图片：Nvidia

几乎没有其他模型能捕捉到回合中的错误

在 RoboRewardBench 基准测试中，Flora 的错误率比 Astra 低 27.8%。论文将这一差距归因于部分完成的任务。当机器人只是将瓶子推倒而不是将其从桌上碰落时，Flora 会给出 3 分（满分 5 分）以匹配人类参考评分，而 Astra 仅给出 1 分。

Flora-Rewarder 能够捕捉到回合内 53.3% 的失败步骤，而其他竞争对手均未超过 11.7%，Astra 则一个都没捕捉到。其代价是 Flora 会将约 11% 的正常步骤误报为错误。在基于评分标准的打分和轨迹排序方面，Astra 仍然保持领先。

在一个包含许多短促手部动作的视频中，Flora 识别出了 37 个独立动作中的 34 个，而 Astra 仅捕捉到 4 个。另一方面，Flora 有时会将较长的动作拆分为过多的小步骤，并且偶尔会出现描述错误。例如，在一个视频中，机械手用布擦拭盘子，但 Flora 却将其描述为折叠餐巾。

在一个示例回合中，Flora 识别出了 37 个参考动作中的 34 个，而 GPT-6 Astra 仅捕捉到 4 个。| 图片：Nvidia

Nvidia 将 Flora 定位为 Scale AI 的 Physical AI Data Engine 等商业服务的开放替代方案。研究人员可以利用它来扩展自己的机器人数据集，并测试诸如将人类演示迁移到机器人等方法。Nvidia 正在向 开源 AI 模型 投入数十亿美元，以将开发者留在其硬件生态系统中并推动对其芯片的需求，而 Flora 也服务于这一相同目标。

该公司还一直在努力通过 仿真和自动化数据处理 来弥补机器人训练数据的短缺。在今年早些时候的 GTC 大会上，Nvidia 展示了一条数据管道，能够自动准备、倍增和评分训练材料。Flora 为这条管道增加了来自视频的详细标签和奖励信号。

所有这些举措都融入了 Nvidia 覆盖整个机器人价值链的战略，从硬件和训练数据到仿真以及 AI 模型本身。Google 最近发布的 Gemini 4 Argon 也瞄准了机器人训练过程中类似的环节，同样能够识别训练视频中的工作步骤并标记失败的动作。