NVIDIA 开源 Cosmos 3 世界模型 支持交互式仿真

返回文章列表

全新 NVIDIA Cosmos 3 开放模型，用于交互式世界模拟

企业 + 文章 发布于 2026 年 11 月 5 日 点赞 1

 [Pranjali Joshi PranjaliJoshi  关注](https://huggingface.co/PranjaliJoshi)  [nvidia](https://huggingface.co/nvidia)  [Rick Z rickznv  关注](https://huggingface.co/rickznv)  [nvidia](https://huggingface.co/nvidia)  [Yao Xu yaoxuhf  关注](https://huggingface.co/yaoxuhf)  [nvidia](https://huggingface.co/nvidia)  [Qianli Ma qianlim  关注](https://huggingface.co/qianlim)  [nvidia](https://huggingface.co/nvidia)  [Chen-Hsuan Lin chenhsuanlin  关注](https://huggingface.co/chenhsuanlin)  [nvidia](https://huggingface.co/nvidia)  [Ming-Yu Liu mingyuliutw  关注](https://huggingface.co/mingyuliutw)  [nvidia](https://huggingface.co/nvidia)  [Xiang Li ryanxli  关注](https://huggingface.co/ryanxli)  [nvidia](https://huggingface.co/nvidia)  [Zhengfei Kuang zhengfei-nvidia  关注](https://huggingface.co/zhengfei-nvidia)  [nvidia](https://huggingface.co/nvidia)  [Zhonghao Wang zhonghaow  关注](https://huggingface.co/zhonghaow)  [nvidia](https://huggingface.co/nvidia)  [kiui ashawkey  关注](https://huggingface.co/ashawkey)  [nvidia](https://huggingface.co/nvidia)

摘要

NVIDIA Cosmos 世界模型开发平台为其 Cosmos 3 模型家族新增了四个开放权重检查点，用于生成交互式世界模拟以及多传感器多视角驾驶场景：

• 🌦️ Cosmos3-Nano-Transfer-Auto：生成具有不同天气、光照和一天中不同时段的多视角驾驶数据。
• 🚗 Cosmos3-Nano-Sim-Auto：为驾驶模拟流式输出同步的摄像头和 LiDAR 观测数据。
• 🎨 Cosmos3-Nano-Sim-Transfer：将模拟器控制信号和文本提示转化为照片级真实感视频。
• 🤖 Cosmos3-Nano-Sim-Bimanual：根据机器人或摄像头动作预测视频。

所有四个模型都是 Cosmos 3 Nano 的后训练示例，拥有 16B 可训练参数。这些模型采用 OpenMDW1.1 许可，允许在其条款下进行商业和非商业使用。

下载检查点 · 阅读技术报告 . 观看演示

为什么需要这些检查点？

🦾 机器人技术需要能够在不断变化的场景和视角下回答这一问题的环境。这些检查点提供了构建此类环境的互补方式：Sim-Bimanual 根据动作预测视觉后果，而 Sim-Transfer 则将物理模拟器的控制转化为生成的观测。

🚦 对于自动驾驶而言，外观与几何必须保持一致。同步的摄像头与 LiDAR 生成将视觉观测与 3D 感知连接起来。场景和交通信号控制让研究人员能够改变道路布局和信号状态，进而研究驾驶策略如何响应。

🔄 每个观测都能塑造下一个动作。流式生成将视频预测与持续交互连接起来，为世界模型研究人员提供了一种探索动作与观测如何共同展开的方式。

🌐 一个供他人构建的开放基础。NVIDIA 的愿景是帮助研究人员和开发者创建更丰富、响应更灵敏的模拟世界。开放的权重和后训练配方提供了一个共享起点，用于适配模型、比较方法并贡献改进。这些问题仍然困难：未来的工作是衡量模型在何处忠实地支持策略学习和评估，理解其局限性，并在不足之处加以改进。

使用 Cosmos3-Nano 构建自动驾驶车辆世界

🌦️Transfer-Auto：驾驶场景 → 多传感器数据

Cosmos3-Nano-Transfer-Auto 是一个用于离线合成驾驶数据生成的双向模型。它可生成最多 11 个摄像头视角（包括鱼眼）的同步视频，并支持 RGB–LiDAR 联合生成。逐摄像头的世界场景图（WSM）控制指定场景结构和交通运动，而文本提示则引导外观。

开发者可以改变环境条件，以扩展训练和评估的覆盖范围，并可选地使用初始 RGB 图像来锚定场景外观。联合 LiDAR 生成还会使用对齐的 HD 地图距离图控制。Transfer-Auto 还可作为将 Cosmos 适配到你自有传感器配置和驾驶领域的基础。首先在你的数据上对它进行后训练，以适配你的相机布局、LiDAR 配置和目标环境。适配后的模型可直接用于离线数据生成，也可经过因果训练和少步蒸馏，用于快速流式仿真——这正是创建 Cosmos3-Nano-Sim-Auto 所采用的开发路径。

将你的 agent 指向开放技能：Run inference with Cosmos3-Nano-Transfer-Auto

更喜欢 notebook？ 打开 Transfer-Auto。

🚗Sim-Auto：驾驶控制 → 流式观测

Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 的因果蒸馏流式变体。它仅需少量去噪步骤，即可生成连续的小块同步相机视频和 LiDAR，并利用生成的历史和更新后的驾驶控制来支持快速流式传输和长时间交互式 rollout。

提供逐相机描述和同步的 WSM 控制，可选地添加初始 RGB 图像。对于 LiDAR 生成，需包含与相机控制对齐的 HD-Map 距离控制。蒸馏模型利用其滚动历史生成连续的小块。闭环交互需要仿真运行时和 WSM 渲染器，以根据驾驶输入更新这些控制。对于新的传感器配置或领域，请先适配 Transfer-Auto，再将其蒸馏为 Sim-Auto。

将你的 agent 指向开放技能：Run inference with Cosmos3-Nano-Sim-Auto

更喜欢 notebook？ 打开 Sim-Auto。

🎨 Sim-Transfer：模拟器控制 → RGB

你的模拟器负责计算运动、接触和物理状态。Sim-Transfer 利用其空间控制和文本提示来渲染策略可以使用的颜色观测。

动作 → 模拟器更新 → 空间控制 → 生成的 RGB → 下一个策略动作

• 深度： 与相机的相对距离。
• 分割： 区域和物体边界。
• 边缘： 场景轮廓。
• 模糊： 粗略外观和布局。

文本引导外观；物理和真值状态仍由模拟器负责。

深度控制到视频

分割控制到视频

将你的智能体指向开放技能：使用 Cosmos3-Nano-Sim-Transfer 运行推理

更喜欢 notebook？ 使用 Transfer。

🤖 Sim-Bimanual：动作 → 视频

输入帧

来自 Sim-Bimanual 模拟检查点的输出视频

Cosmos3-Nano-Sim-Bimanual 模拟环境如何响应双臂机器人的动作而演变。它支持 YAM 和 AgiBot 具身形态的交互式双臂模拟，由策略或人工操作的操纵杆控制。

从一张图像开始，移动机器人或相机，并生成下一个观测。一个控制序列可以在视角变化和操作之间切换。

混合动作示例使用 59 个控制值，在训练期间填充到 64 个。其 schema 定义了坐标系、旋转、夹爪校准、有效性掩码和控制域。遵循这些约定，使每个值描述预期的运动。

保持时序对齐：T 个转换需要 T+1 个观测。训练将原始采集转换为模型的动作表示；发布的推理动作已经过归一化。

在这里，Sim-Transfer 从物理模拟器更新后的状态生成视觉内容；Sim-Bimanual 直接从场景和机器人动作生成下一个观测。

参见数据契约和动作 schema。

环境要求： Linux、一块 NVIDIA GPU、Docker 以及 NVIDIA Container Toolkit。已发布的 vLLM-Omni 配置是在单块 GB200 上测试的；这并不是最低显存规格。服务端会下载权重；客户端会获取示例输入。

将你的 agent 指向这个开放技能：Run inference with Cosmos3-Nano-Sim-Bimanual

更想用 notebook？ 打开 Bimanual

流式生成的工作原理

Cosmos 3 的 Mixture-of-Transformers 骨干网络通过注意力机制将独立的文本处理网络和视觉生成网络连接起来。生成器根据提示词、可用的控制信号以及已生成的历史，预测每一个短片段。

控制信号 + 历史 → 生成一个 chunk → 解码图像 → 更新历史

去噪过程将带噪的压缩视频表示精炼为一个片段。时间因果注意力使其能够读取可用的历史和控制信号，同时屏蔽未来的目标观测。键/值缓存会保留注意力信息，供下一次预测使用。

模型处理的是被称为 latent 的压缩视频表示。在初始图像之后，每个 latent 时间步代表四帧 RGB 图像。Transfer 每个 chunk 预测一步；报告中经过优化的 Bimanual 配置则预测两步。更小的 chunk 能让新的控制信号更频繁地影响生成。

四阶段训练配方

• 阶段 0 — 双向适配：从完整的录制片段中学习该领域及其控制到视频的关系。
• 阶段 1 — 教师强制：根据此前的录制观测和可用的控制信号预测每个 chunk，同时屏蔽干净答案和未来目标。
• 阶段 2 — 一致性蒸馏：使用冻结的教师模型训练一个学生模型，使其在四步去噪内生成每个 chunk。
• 阶段 3 — 自强制：基于学生模型生成的历史进行训练。冻结的教师模型和一个辅助评分模型提供分布匹配信号。

为什么最后阶段很重要：一个略有误判的物体将成为后续帧的上下文，因此误差会不断累积。自强制让训练过程接触到这种生成的历史。蒸馏和缓存降低了生成每个观测的成本。

🛠️ 用你的数据做适配

后训练配方从 Cosmos3-Nano 或兼容的基础权重开始，覆盖全部四个阶段。请保留完整的训练检查点以便恢复训练；导出的推理权重不包含优化器及其他训练状态。

• Transfer-auto：在你的驾驶数据上进行后训练，以适配你的传感器配置和领域，并生成离线合成数据。
• Sim-auto：对已适配的 Transfer-Auto 模型应用因果训练和蒸馏，以实现快速流式仿真。
• Sim-Transfer：使用本地数据准备、阶段配置和恢复功能，针对你的环境对检查点进行后训练。
• Sim-Bimanual：通过数据验证、阶段配置、检查点交接和导出，针对你的具身形态进行后训练。

将技能和数据集位置提供给你的编码智能体。遵循环境检查、验证一个样本，并在长时间运行前测试训练和重启。在留出集（held-out）的 episode 上评估质量：一次成功的短时间运行只能验证执行是否正常，并不能证明模型已收敛。

更多资源

• 🤗下载检查点
• 📺 观看 Cosmos Labs 直播回放
• 📖 阅读技术博客