Tsinghua Open-Sources OpenMise to Give Video Models 3D Spatial Memory

新智元报道

目前最强的视频生成大模型，例如seedance 2.5在根据用户意图生成视频的时候有一些明显的缺点。

以seedance 2.5创作两个指定角色对弈国际象棋作为例子，可以发现sota视频生成模型在细节的一致性上仍然有很多不足。

提示词：生成两个人面对面下国际象棋的写实视频，完整展示西班牙开局，并严格依次执行 e4 e5、Nf3 Nc6、Bb5 a6，直到后续的王车易位、棋子移动与对手回应。要求棋步合法，棋盘状态连续，不得出现多余棋子、错误落点或棋子凭空消失。

seedance 2.5准确的生成了对应的人物和正确的下棋动作，但随着视频的不断生成，棋子的位置逐渐混乱。

上一帧棋子还在原位，下一帧则换了格子，甚至多出一个额外的棋子。

人物、布景和光影都正确渲染，而棋局细节却是错的。这些细节上的不一致还有很多。

这类问题也是视频创作者熟悉的「抽卡」体验：创作者写清楚了人物该从哪里走到哪里、镜头该怎么调整，生成结果还是穿墙或跑偏。

运气好的时候一次就生成了需要的视频，运气不好就得反复生成整段视频，这不仅对于创作者而言消耗了非常多的时间精力，也是很大的计算资源开销。

对于涉及精确动作和空间关系的内容，用户的要求已经从画面是否漂亮逐渐升级到内容是否按计划发生以及视频的细节是否前后一致。

问题并不是模型不会画棋盘，而是它必须在连续镜头中记住每一枚棋子上一刻在哪里、这一步该移动到哪里、移动后其他棋子应保持什么状态。

与此同时视频生成模型还要同时生成人物的拿棋动作、镜头和光影。

这既要求模型具有精确的细节把控能力，又要求模型具有高质量的视频渲染能力，目前所有的视频生成模型几乎都没有能力同时做到这两件事。

来自清华大学和宾夕法尼亚大学的团队开源了一套提供给Agent的空间场景编辑工具OpenMise，生态定位是Agent链接空间场景的桥梁。

OpenMise通过把「困难的视频生成任务」拆分成「两个简单阶段」来实现细节一致性的把控。

项目地址：https://github.com/Rath-Team/OpenMise

首先OpenMise使用Agent调用Blender，把场景、人物、动作、摄影机和灯光安排进同一个三维世界，生成便于修改的草稿；

然后创作者把草稿视频交给现有视频生成模型，完成写实画面或特定风格的渲染。

简单的说就是把「直接生成视频」改进为「Builder + Render」****两阶段生成。

OpenMise先用Coding Agent设计出精确的移动草稿再渲染细节

清华团队认为，问题的核心在于，创作者同时对视频生成模型提出了过多的要求，团队的解决方案是将一个复杂任务分解成两个简单任务。

1. 对于视频的一致性和物理规律的遵循，OpenMise团队认为通过Sota级别的Coding Agent （例如Deepseek V4.1 Flash）直接创作具体的动作就能够保证白模符合物理规律。
2. 对于将白模渲染成一个真实的视频对于seedance 2.5这样的视频生成模型来说则是一个更加简单的任务，因为模型不再需要精确的维护前后一致的棋盘状态，只需要将Coding Agent编排出的精确的白模状态渲染成清晰真实的视频。

通过这种任务分解，OpenMise成功的让两个阶段的任务分别被最合适的AI工具接入。

继续沿用下国际象棋这个例子，面对同一段棋局要求，OpenMise会先在Blender中创建棋盘、棋子、人物及移动序列，让每一步棋有明确的起点、落点和时间。三维场景生成的白模视频能让创作者先检查棋局怎样推进。随后团队把这段白模视频、人物参考图和提示词一起交给Seedance 2.5生成写实版本。

以下是 OpenMise 做出的棋局白模草稿：

视频｜OpenMise第一步生成的**国际象棋白模草稿(保证完全精确棋子轨迹)

再看以草稿为参考生成的写实棋局：

视频｜参考 OpenMise草稿**生成的国际象棋对决画面

可以看到，OpenMise使用两阶段生成的视频的一致性得到了明显的提升。

如果使用seedance 2.5反复的生成同一段视频然后从中挑选符合物理规律约束的，可能需要反复生成几十次才能达到和OpenMise一样的效果，甚至永远没有办法达到OpenMise的效果。

这个例子充分说明了OpenMise很好的解决了一个使用AI进行视频创作的一个业界难题。

国际象棋是一个容易看懂的例子，在目前视频创作领域中，人物行走和室内运镜也是同一类问题。

创作者可能会提出 「从A到B」、「穿过这扇门」、「始终跟拍主角背影」 这样的需求，此时生成模型就需要维持稳定的空间状态，包括门在哪儿、人物有多宽、镜头能不能后退、下一秒谁该移动 ... 这一些问题都是直接使用视频生成模型做不到，而OpenMise能够大显身手的。

OpenMise的系统架构

OpenMise的核心思想是将一个复杂的问题分解成两个简单的问题。

创作一个细节一致的视频依靠Builder和Render两阶段实现。

Builder只负责设计清楚具体的物理规律和动作细节草稿，Render只负责将草稿渲染成真实的成片。

OpenMise两阶段生成视频的系统**架构

符合物理规律的3d草稿

视频 | OpenMise控制Agent使用Blender并进行自动化创建资产、管理资产

Builder让 Agent 把自然语言剧本拆成可执行的三维制作计划。Skill规定何时校准场景、怎样安排跟拍或环绕、渲染后检查什么。

然后Tool负责导入资产、计算路径、创建骨骼动作与摄影机关键帧、配置灯光和启动渲染。

Agent经由Blender MCP调用这些工具，把人物、镜头和灯光放进同一套坐标与时间轴，再输出草稿画面。

Builder给出的是可编辑的Blender工程和结构化参数，因此问题可以被定位到具体环节。如果路线需要改就调整路径，如果人物走对了但镜头穿墙就修改摄影机，如果动作、镜头都合适而光线不对则只修改灯光。

与整段重新生成相比，这种中间过程给创作者留下了检查和局部修改的位置。

在专业的技术细节上，Builder有以下几个创新点：

让Agent能够真正的理解视频生成场景中创作者的三维资产

Builder支持Blender原生场景，也能接入3DGS扫描，以及GLB、glTF、FBX、OBJ、Blend、PMX等三维资产。但在OpenMise团队进行视频生成创作的实验中，场景能够显示和系统已经理解了场景存在很大的gap。以3DGS为例，它主要保存空间中的高斯分布与外观信息，并不会天然提供房间名称、门的位置、真实尺度、可行走地面或碰撞边界。

视频 | 使用自然语言命令OpenMise导入三维资产，并符合语言命令在指定位置完成导入的动作

因此，场景接入后还要经过坐标校准、尺度校准与空间标注。Agent需要将地面方向对齐Blender水平面，建立场景单位与人物身高的对应关系，再记录起点、终点、门口、床边、可通行区域、障碍区域和摄影机活动范围。完成这些步骤后，一个「看得见的房间」才会变成可以规划路径和机位的空间表示。

实现人物运动中整体位移和骨骼动作的分开处理

在有人物的视频生成场景中，人物既可以由系统用简化几何与骨骼程序化生成，也可以来自外部角色资产。前者适合快速白模草稿，系统能够明确掌握人物尺寸和骨骼结构，后者则需要额外检查坐标方向、比例、骨骼、蒙皮与动画兼容性。

Agent不仅需要能够成功导入这些内容，还需要能够更精细的对这些内容进行处理。

Builder实现了人物位置以及动作细节在视频中的监督。路径控制决定角色在场景中的位置和朝向，动作控制负责迈步、抬脚、落脚与身体姿态。路径校验不仅检查中心线，还会考虑人物占用空间，避免出现「路线穿过门、肩膀却撞上门框」的情况。

骨骼动画与脚部约束则让步态配合整体位移，并检查脚部与地面的关系。

让摄影机与灯光共享同一条时间轴

在视频生成场景创作者经常遇到 「背后跟拍」「缓慢推进」「进入卧室后环绕」等镜头语言。在视频生成模型中，这些语言会被转换为摄影机的位置、朝向、焦距、观察目标和关键帧。

狭窄空间中，相机可以沿人物先前经过的路径跟进，再调整距离与观察方向，降低转弯时穿墙的风险。

人物动作、摄影机运动与灯光变化共用同一时间轴，因此「人物进入卧室—镜头开始环绕—轮廓光渐入」可以对应到明确的帧位置。

灯光同样以参数化方式控制。类型、位置、朝向、颜色、功率与发光尺寸都能分别设置，并可随时间变化。

针对3DGS场景，Builder还接入KIRI的近似重打光设置，让扫描墙面和地板呈现新的受光变化，为草稿中的氛围调整提供空间。

执行前提供干净的中间文件供创作者检查

当场景、人物、动作、镜头和灯光准备完成，Builder会在独立的Blender进程中构建场景、生成动画并渲染，再将图像序列编码成视频。

在执行前，Tool会检查参数范围、对象引用、时间轴和关键帧、空间路径、地板支撑及实际动画数据。在执行后，工程文件、结构化计划、运行日志与检查报告会被保留下来，方便定位问题并针对性修改。

Render借助现有视频模型完成视觉呈现

Builder本身就能在Blender中完成草稿渲染，输出可查看的白模视频与可继续编辑的场景文件，并不依赖云端视频模型。需要写实质感时，才进入Render：将白模视频连同人物形象参考、剧本提示词交给现有视频生成模型。

在国际象棋案例中，团队把这些素材输入Seedance 2.5；草稿负责提供连续的棋子移动和拍摄结构，视频模型负责补足人物外观、材质与画面风格。

这种两阶段的生成方式，在第一阶段结束时，就已经能够产生有价值的结果。对于路径、机位和构图的验证，白模本身就已经是有用的结果。而对于面向观众的成片，它则可以为后续生成提供人物运动、镜头节奏和场景结构的参考。

把技术落到3DGS室内场景的实例:

从走廊到卧室

扫描房间与可行走空间

OpenMise团队展示的室内案例从一份3DGS房间扫描开始。原始输入保留了走廊、门口和卧室的视觉外观，Builder随后完成地面方向与尺度校准，并把人物起点、卧室终点、可通行区域和摄影机活动范围写入空间表示。

于是，「从走廊走进卧室」成为了一条可以计算、验证并继续修改的三维路线。

室内案例使用的 3DGS 场景如下：

OpenMise导入的室内3DGS场景

房间局部快照如下：

3DGS房间局部及行走路线示意

从走廊到卧室 Builder 要同时解决两件事：

1. 路径控制决定人物整体在何处、朝向哪里，并依据可通行区域检查路线。校验时要看路径中心线，并且要把人物实际宽度算进去，否则「中心穿过门」也会变成肩膀撞门框。
2. 动作控制则用骨骼动画与脚部约束安排迈步、落脚和站立，使身体动作与整体位移保持一致，并检查脚部与地面的关系。若导入外部角色，还需核对骨骼、蒙皮和动画兼容性。

让人物、镜头和灯光共享时间线

摄影机同样是三维世界中的对象。「背后跟拍」需要被拆成机位、观察目标、焦距、跟随距离和时间段，再转成摄影机关键帧；如果只把相机固定在人物身后，人物在狭窄走廊转弯时，相机仍可能切进墙里。

Builder 可以让相机沿人物先前经过的路径跟进，再调整朝向与距离。到了卧室，人物环视房间，镜头也要在同一时间轴上切换观察目标。路线、动作与运镜因而不是三段各自生成的动画，而是一份相互对齐的拍摄安排。

灯光也由结构化参数控制：类型、位置、朝向、颜色、功率与发光尺寸可以分别设置，并在时间轴上安排变化。

尺寸主要影响光影的柔和程度，功率决定照明强弱；「灯更大」和「灯更亮」因此不是同一个操作。团队展示了保留人物路线与镜头、只修改灯光的版本。

面对3DGS扫描房间，OpenMise还接入了KIRI的近似重打光设置，使墙面与地板呈现新的受光变化；它保留了扫描场景的视觉基础，同时给布光调整留出了空间。

固定路线和镜头后，还可以单独调整灯光：

视频｜OpenMise 灯光修改演示

白模草稿与最终成片

在团队展示的室内案例中，用户导入一处3DGS房间，要求人物从走廊走到卧室，摄影机持续跟拍背影；人物进入卧室后环视周围，镜头也随之变化。

Builder据此安排场景校准、人物路线、动作和摄影机轨迹，并输出一版草稿视频。

这一版画面最重要的用途是检查：人物与房间比例是否合适，门能否通过，镜头是否交代了从走廊进入卧室的过程，进入卧室后的观察动作有没有被拍出来。确认拍摄结构后，再以草稿视频为参考生成写实版本。

从白模到成片，变化最大的是视觉外观；人物从哪里走、摄影机如何跟，已经有了更明确的基础。

视频｜OpenMise 3DGS 房间行走白模草稿

结语

当视频生成开始理解「空间」

今天的视频模型已经越来越擅长生成逼真的人物、材质与光影。复杂视频创作的新标准已经提高成对空间、动作和拍摄过程的持续控制。人物需要沿指定路线移动，物体需要保持稳定状态，镜头需要在复杂场景中准确完成调度 ...

OpenMise 的技术探索正是为生成模型补上这样一个可计算的中间层。自然语言中的创作意图，先被转换为三维坐标、对象关系、运动路径、摄影机关键帧和统一时间轴。这个 idea 彻底的解决了视频生成不符合物理规律这一业界难题。经过验证的白模草稿再成为视频模型的生成依据。

由此空间一致性不再完全依赖模型从像素中「猜测」，而是基于一套可以执行、检查和修改的先验资产。

OpenMise正在改变创作者与生成系统的交互方式。过去问题往往要等到成片出现后才能被发现，修改也常常意味着重新生成整段视频。

在引入了OpenMise后，问题可以被定位到具体对象和参数。路线不对就修改路径，人物与地面关系异常就调整动作约束，运镜不符合预期就重设摄影机关键帧，视觉风格则交给Render阶段继续完成。

OpenMise将一个复杂任务分解成两个简单任务的思想简单并有效，对现在如日中天的视频生成业务例如高质量短剧的生成中，不仅能够巨大的提升质量，也能够将创作者从抽卡中解放出来，巨大的降低生产的成本。

如果说过去的视频生成主要解决「把一句话变成画面」，那么下一阶段要解决的便是让画面中的一切「按照计划发生」。

从像素层面的视觉生成，到对空间、时间和对象关系的联合建模，OpenMise试图让AIGC视频从一次性的结果生成走向真正可修改和复用的内容生产：在成片之前，人物要去哪里、镜头要看到什么，已经可以先在三维空间里讨论清楚。

参考资料：

https://github.com/Rath-Team/OpenMise

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！

跳转微信打开