NVIDIA 发布 Cosmos3-H-Dreams 实现交互式手术生成模拟

返回文章列表

NVIDIA Cosmos3-H-Dreams：通过生成式模拟让临床手术栩栩如生

Enterprise + Article 发布于 2026 年 10 月 20 日 Upvote - Lukas Zbinden lzbinden nvidia Javier Gamazo javirk1 nvidia Nigel Nelson nigeln nvidia Mostafa Toloui mtoloui nvidia Sean Huver shuver nvidia

想象一下，在一个能够实时响应的生成式手术场景中，移动 Cadiere 抓钳、夹持胆囊并将其提起。今天，我们迈出了下一步，推出了 Cosmos3-H-Dreams，将交互式生成式模拟引入临床手术的视觉与程序复杂性中，并提供了迄今为止最具说服力的体内影像效果。

我们的首个 Cosmos-H-Dreams 版本基于 Cosmos-Predict2.5 构建，将交互式生成式模拟引入了 dVRK 桌面缝合任务——这是手术机器人领域的一个基础验证场景。作为世界基础模型（WFM），Cosmos-H-Dreams 展示了一种替代数值模拟的方案：它不再显式建模场景几何结构、组织变形和物理交互，而是直接从同步的视频和机器人运动学数据中学习视觉动态，从而实现了具有高真实感的交互式桌面任务模拟。

如今，Cosmos3-H-Dreams 通过在 CMR Surgical Versius 平台上进行的临床手术过程中记录的视频和机器人运动学数据来学习，进一步提升了这一能力。据我们所知，这是首个基于临床胆囊切除术录像训练、支持实时运动学控制的实时生成式手术模拟器。Cosmos3-H-Dreams 由 Cosmos 3 驱动，并借助 NVIDIA 的加速流式推理库 FlashDreams 进行加速，可在单块 NVIDIA RTX PRO 6000 GPU 上实现交互式运行。

---

1. 从桌面任务到临床场景

在 Cosmos-H-Dreams 这类受控的桌面环境中，器械操作面对的是相对简单的背景。然而，在人体内部，微小的器械移动会影响整个场景：组织在牵引力下拉伸，反射发生变化，结构被遮挡，烟雾改变可见度。给定初始图像和提供的工具动作，生成式模拟器必须在生成每个新的视频块时捕捉这些响应，同时保持解剖结构和器械的一致性。小误差会随时间累积，逐渐改变器械几何形状或解剖结构，因此时间一致性至关重要。

因此，视觉真实感是验证的起点，而非生物力学准确性的证明。生成的场景还必须遵循控制指令：平移、旋转和夹爪命令应产生连贯的解剖学后果。一个看似合理但忽略这些命令的推演无法作为交互式环境使用。

在实时控制循环中保持这种保真度和响应能力需要低延迟生成。Cosmos3-H-Dreams 通过一个专为临床胆囊切除术定制并针对实时生成进行蒸馏的模型来解决这一设置，将动作条件交互引入具有复杂解剖结构、组织运动和遮挡的场景中。

---

2. Cosmos3-H-Dreams 的新特性

2.1 Cosmos 3 基础与更丰富的手术控制

Cosmos3-H-Dreams 基于 Cosmos3-H-Embodied-Nano（一个在 Open-H-Embodiment 上预训练的 160 亿参数模型），并在精选的胆囊切除术视频和运动学数据上对双向教师模型进行了专业化训练。样本选择聚焦于两个可见且正在操作的器械——左侧 Cadiere 抓钳和右侧单极钩，并限制相机命令以强调由器械驱动的交互。

该模型使用 28 个动作维度：双臂的姿态和夹爪信息，加上能量控制、摇杆轴和摇杆按钮。训练采用 832 x 480 分辨率的视频，动作对齐频率为 10 Hz；该采样率不同于运行时生成吞吐量。

2.2 从教师模型到四步和两步学生模型

Cosmos3-H-Dreams 结合了一种专为长自回归推演设计的教师到学生训练流程，并通过 FlashDreams 实现加速流式推理。

我们首先在 24 个未来帧上适配双向教师模型，随后将时间跨度扩展至 72 帧（在 10 Hz 频率下对应 2.4 秒和 7.2 秒）。这使得教师模型能够在更长的序列中学习手术动态。

接下来，通过蒸馏过程将双向教师模型转化为因果学生模型，使其能够在新动作到达时以短块形式生成视频。因果强制（Causal teacher forcing）利用记录的上下文让学生模型为顺序生成做好准备。随后，Self-Forcing 让模型在其自身生成的上下文上进行训练，并由教师模型和一个学习到的批评者（critic）提供指导。这有助于解决交互式 rollout 过程中误差累积的问题。

首个发布的学生模型在每个生成块中使用四个去噪步骤。随后，我们采用两步调度对该学生模型进行进一步训练，从而生成第二个发布检查点。请注意，两步模型是独立训练的，并非简单地将四步模型以更少的采样步骤运行。

减少去噪步骤可以加快推理速度，但会牺牲一定的视觉质量。这两个检查点使开发者能够探索视觉质量与推理成本之间的平衡。

2.3 通过 FlashDreams 实现流式处理

FlashDreams 提供了加速的流式运行时环境。长程 rollout 还需要管理模型的注意力历史。Cosmos3-H-Dreams 集成使用了一个经过适配的 FadeMem 模块，用于在长程 rollout 期间整合不断增长的键值缓存（key/value cache）。这与 Self-Forcing 形成互补：蒸馏解决了模型如何从其生成的历史中学习的问题，而缓存整合则解决了在流式生成过程中如何存储该历史的问题。

---

3. 探索未见轨迹

在临床手术过程中，可能会出现并发症或外科医生执行“新颖”动作的空间。因此，模拟器必须能够泛化到训练数据之外，并针对未见过的动作生成连贯的帧。以下演示展示了 Cosmos3-H-Dreams 基于通过 VR 头显记录的手术器械动作，生成不同的胆囊切除术场景。

两个视频从相同的初始帧开始，但遵循不同的动作序列，展示了器械控制如何导致同一场景产生截然不同的延续，且伴随物理上准确的组织形变。

此外，这些 rollout 允许我们检查器械是否遵循控制指令、组织对交互的响应是否连贯，以及解剖结构和器械外观随时间推移是否保持一致。

---

4. 适配自有数据与控制策略

Cosmos3-H-Dreams 包含针对胆囊切除术的四步和两步检查点。该系统可适配其他具有同步视频和兼容动作表示的数据集及具身形态。为了在自有数据集上训练实时学生模型，我们在分步指南中提供了完整的教师模型微调和 Self-Forcing 蒸馏方案。该指南详细说明了数据准备、公开的 teacher-training 工具以及蒸馏阶段。控制策略集成必须使用与训练相同的动作约定和归一化方法。

---

5. 未来展望

视觉真实感的提升开辟了多个研究方向：

• 建模完整手术流程。 扩展覆盖范围和时间一致性，以便系统性地探索胆囊切除术的所有阶段，并明确任务边界和成功标准。
• 连接生成式模拟与数值模拟。 将学习到的视觉真实感与显式的几何结构、接触力学和组织力学相结合。数值模型和实测数据有助于约束和验证形变，使模拟行为既具备可解释性又令人信服。
• 由外科医生进行评估。 评估解剖准确性、器械行为和组织反应，将专家反馈转化为可复现的基准测试。
• 支持更多手术器械。 从两个受控工具扩展到更丰富的协调操作、遮挡处理和交互场景。
• 开发自主手术策略。 将世界动作模型与 Cosmos3-H-Dreams 耦合形成闭环，使策略能够学习定义明确的胆囊切除术子任务。

这些是研究方向，而非已确立的临床能力。Cosmos3-H-Dreams 是一个研究用模拟器，并非经过验证的患者护理系统。它为在日益逼真的环境中研究手术交互提供了基础。

---

6. 立即开始

探索 Cosmos3-H-Dreams 背后的模型、数据和运行时环境：

• Cosmos3-H-Dreams 代码与示例：GitHub 仓库
• Cosmos3-H-Dreams 模型：Hugging Face 检查点
• Cosmos3-H-Embodied-Nano：Hugging Face 模型 和 GitHub 仓库
• 适配自有数据：教师微调与自强制蒸馏的分步指南
• Open-H-Embodiment：Hugging Face 数据集
• FlashDreams：GitHub 仓库
• NVIDIA Cosmos 3：GitHub 仓库

带上你们的控制器、轨迹数据和研究问题。我们期待看到社区在这些全新的手术世界中构建出什么成果。