NVIDIA Blog · 2026/10/22 13:00:27
NVIDIA Cosmos 扩展工具链 支持世界模型训练与部署
NVIDIA 宣布扩展其 Cosmos 平台，新增用于物理 AI 世界模型的训练工具、仿真检查点及数据工厂蓝图。该更新旨在帮助开发者高效处理多模态数据、微调前沿开源模型并优化部署流程，以加速具身智能系统的研发。
报道全文原始报道全文
本文目录3 个章节
为了帮助开发者快速构建世界模型——这类模型有助于物理 AI 系统理解和模拟现实世界——NVIDIA 已扩展 Cosmos 平台，新增了训练工具、仿真检查点以及 Cosmos Data Factory 蓝图。
NVIDIA Cosmos 平台在六个不同的开源模型排行榜上均位列前五，为世界模型构建者提供了前沿的开源模型，以及数据、训练和优化工具与配方，以便在部署前扩展训练数据、适配模型、测试行为并优化性能。
构建更优质的训练数据
构建世界模型始于多模态、多感官数据。
NVIDIA Cosmos Data Factory 整合了用于大规模标注、整理、增强和评估数据的工具与技能，以支持物理 AI 的训练。Cosmos Curator 是一款 GPU 加速的视频训练数据集整理解决方案，现已新增对多模态多感官输入及处理模块的支持。
Cosmos Data Factory 现提供以下五个云原生蓝图，可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取：
- 自动驾驶车辆数据集生成： 整理并标注驾驶数据，随后添加难以捕捉场景的合成示例，以扩大训练覆盖范围。
- 图像属性增强： 改变物体外观以提升图像搜索效果。
- 事件视频生成： 将静态图像转换为罕见或不安全事件的合成视频。
- 缺陷图像生成： 生成印刷电路板、金属和玻璃缺陷图像，供检测模型使用。
- 视频数据增强： 在保留场景结构的同时，改变现有素材中的天气和光照条件。
Cosmos Data Factory 通过智能体技能加速数据整理、处理及合成数据生成。
各企业已开始利用 Cosmos Data Factory 蓝图来加速其物理 AI 开发工作流。
保时捷正引领大众汽车集团旗下品牌共建自动驾驶（AV）数据飞轮，并通过 Microsoft Azure 上的 Voxel51 使用 Cosmos Data Factory。预计这将减少高达 90% 的重复性实车测试驾驶，并将开发周期缩短多达 85%。
保时捷在 Voxel51 中搜索并增强自动驾驶车辆数据素材，由 Cosmos Data Factory 提供支持。
ANYbotics 利用 Cosmos Data Factory 蓝图生成了超过 1,500 个合成视频片段，并在 Encord 平台上整理真实世界数据并验证输出结果，从而训练其工业巡检机器人识别液体泄漏及其他设施巡检间的变化。
ANYbotics 借助 NVIDIA Cosmos Data Factory 支持的 Encord 生成异常片段。
计算机视觉公司 Ultralytics 使用真实图像和通过 Cosmos Data Factory 生成的针对性合成缺陷对其 YOLO 模型进行了重新训练，从而提升了缺陷定位能力和召回率。
训练、适配与优化模型
在完成训练数据准备后，开发者可以训练自己的架构，或从预训练模型开始入手。
在柏林 GTC 大会上，NVIDIA 将 Cosmos Framework 的训练、优化和部署工具及配方扩展为更多开放模型的智能体技能，并结合 Cosmos 3，为世界模型构建者提供了从实验到部署的更快路径。
开发者和智能体现在可以通过微调和强化学习适配 GR00T、Alpamayo、QWEN、Pi0.5 以及其他兼容的 Hugging Face 开放模型，利用蒸馏和量化技术优化模型，并以高性能推理进行部署。
Cosmos Framework 是一个开放、模块化的框架，包含模型训练和优化工具及技能，旨在加速世界模型的开发。
为了开发专用于第一人称视角操作的世界模型，机器人研究实验室 MicroAGI 在人类操作物体的视频上对 Cosmos 3 进行了后训练，并将其 320 亿参数的推理器蒸馏为 80 亿参数的 Nano 模型，且精度无损。
开发者可以在 Roboflow 上标注数据，并针对其特定环境和任务对 Cosmos 3 进行后训练，然后将这些模型部署到 RoboFlow 托管或本地 NVIDIA GPU 上，从而将视频推理能力引入工厂和仓库。
更快测试策略并运行模型
除了这些工具外，NVIDIA 还通过其在 Cosmos 模型上的工作持续推进基础技术的发展。
新的 Cosmos 3 Nano 模型变体支持仿真功能，使开发者能够在可重复、难以捕捉的多视角多传感器场景中测试自主策略。配套代码允许开发者调整模型，以便在真实世界测试之前，在交互式仿真中训练和评估其自动驾驶汽车及双臂机器人的自主策略。
用于闭环仿真中策略评估的多视角和多感官视频数据生成。
开发者可以使用更新后的 NVIDIA Cosmos 3 NIM 微服务来部署核心 Cosmos 模型，该微服务在验证配置下可实现高达 2 倍的推理速度提升且无质量损失，同时连续视频分析支持亚秒级警报。
对于视觉 AI 开发者，基于 Cosmos NIM 微服务构建的新版 NVIDIA Metropolis 视频搜索与摘要 (VSS) 蓝图 3.3，可将单个提示词转化为高效的视频 AI 应用，并帮助团队在相同 GPU 资源下监控多 40% 的视频流。
ADNOC 采用 Fogsphere 的 MistIQ 智能体平台，该平台基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建，可在 65 个站点实时检测安全隐患。针对罕见事件，Fogsphere 还利用 Cosmos Data Factory 生成合成训练数据，从而在无需实际布置危险场景的情况下提升检测能力。
Cosmos 平台完全模块化且开源。开发者可以使用Cosmos Data Factory生成训练数据集，使用Cosmos Framework训练和调整世界模型，然后通过 NIM 微服务部署受支持的Cosmos 模型。