ByteDance Debuts World Model: Real-Time 3D Interaction and Spatial Connectivity Enable Explorable Virtual Environments

梦瑶 发自 凹非寺

量子位 | 公众号 QbitAI

好家伙，字节这回直接把AI生成玩成开放世界了？！

瞧嘛，只需输入一句话，AI就凭空roll出一个微缩小人视角下的房间～

紧接着，键盘鼠标一顿猛如虎操作，咱就能骑上纸飞机在赛博世界里自由飞行，想去哪儿就去哪儿：

这还没完，在这个AI生成的世界里，连眼前的东西都能随手创造！

想要个勺子？直接凭空搓一个出来，甚至…

我们还能跟勺子交互，把日常餐具玩成大型攀岩现场——

当然，这个世界能做的还远不止这些。

靠着任意门功能，两个八竿子打不着的场景也能直接连通。

上一秒还在屋里，下一秒推门就闯进外太空了？！

如此魔幻的一幕，就出现在刚刚结束的抖音集团《2026 美好奇妙夜》科技节目现场，演示者正是影视飓风的Tim。

更值得一提的是，这一连串堪称赛博造物的操作，背后正是字节一直在默默研发的世界模型。（震惊.jpg)

虽然模型目前尚未正式发布，但从现场展示来看，其已经展现出三维场景生成、自由探索、实时交互、物体编辑，甚至不同空间之间的自由连通的本事～

这次字节借着节目现场演绎，让自家的世界模型来了场出其不意的**「首次亮相」**，属实也是提前秀了一把肌肉了。

说起来蛮感慨的，这几年，从李飞飞创办的World Labs，到Google DeepMind的Genie，再到英伟达的Cosmos。

一众科技巨头也纷纷下场，试图让AI进一步理解空间结构、模拟现实规律，甚至预测环境如何随人的行动而变化。

如今，AI正在把科幻电影里的世界搓进现实。

从画出一个世界，到让整个世界「活」过来

我猜，早些年最先玩AIGC的那批人，恐怕也没想到——

有一天AI生成的视频，竟能变成一个可以走进去、支持交互、还能灵活编辑的赛博三维世界。

我稍微细数了一下，从年初开始到现在，我上手体验过的世界模型产品也大概齐有六七个了。。。

其震撼程度吧，不亚于前一天还在看《星际穿越》，第二天就发现自己能走进银幕，顺手还能把黑洞搬到自家客厅。

所以，AI咋就能从图视频生成，丝滑「转服」到造世界了啊？！

这事儿，还得从传统多模态生成的一块技术短板说起。（doge）

如今，世界模型已衍生出多条技术路线，从抽象状态预测、物理因果建模，到生成式三维世界，各有侧重。

而这里我们要聊的，主要是与多模态生成、空间智能相关的一条路线：

让AI学习现实世界的空间结构与变化规律，进而生成、重建和模拟一个能够持续探索、实时交互的三维世界。

需要敲黑板的是，这里有两个关键词：空间结构以及变化规律。

而这两项能力，恰好切中了过去几年视觉生成技术尚未完全解决的一道基础性难题。

△AI生成

2024年，OpenAI发布Sora，惊艳的生成视频直接让全网跟着山姆·奥特曼震惊眩晕瘫坐。

但比起当年那些刷屏的视频，OpenAI同期发布的技术报告，放到今天反而更值得细品——

《Video generation models as world simulators》，直译过来就是**「作为世界模拟器的视频生成模型」**。

彼时OpenAI发现，随着视频生成模型规模扩大，模型开始涌现一定的三维一致性、物体持久性，甚至能够模拟简单的环境交互。

但尴尬的是，一个能够生成逼真世界画面的模型，仍然可能连最基本的「物理关系」都处理不好。

比如Sora能够生成一个人在跑步机上奔跑的画面，人物、光影、镜头都像那么回事儿。

但仔细一看，人物动作与跑步机的运动关系，却未必符合现实中的物理逻辑，画面很真实，物理规律却有点随缘？？

△图源：OpenAI官网

这背后，其实暴露了传统视觉生成技术一个相当根本的问题。

过去几年，无论扩散模型还是基于Transformer的生成架构，主流图像、视频模型主要依靠学习海量视觉数据中的统计规律，来生成符合输入条件的画面。

这套方法相当成功了，甚至已经能够隐式学习部分三维几何、物体关系和物理规律。

但视觉上的时空连续性，并不必然对应一套稳定、可供外部动作干预的世界状态——

举个例子，让一个杯子在视频中始终保持外观一致，对如今的生成模型来说，已经相对容易。

但当它被拿起、放下甚至推落桌边时，模型还需要持续追踪空间位置、物体关系与状态变化，并预测碰撞、坠落等物理结果。

换句话说，从生成一段符合物理直觉的视频，到可靠预测动作引发的环境变化，中间还隔着一个世界状态建模问题。

而这，恰恰是世界模型擅长的地方。

今年6月，李飞飞团队发布了一篇名为《A Functional Taxonomy of World Models》的文章。

文章从功能角度将世界模型划分为三种类型，也让世界模型究竟有哪些「真本事」，有了更清晰的解释——

• 渲染器：负责世界看起来是什么样子，输出面向人类的视觉画面，核心目标是画面真实度、视觉表现力。
• 模拟器：负责世界实际上是什么样子，维护符合几何、物理因果的场景状态。
• 规划器：负责智能体下一步该如何行动，基于当前世界状态与既定目标，输出合理动作。

这套划分值得玩味的地方在于，它恰好解释了为啥AI已能生成以假乱真的视频，我们却还要费这么大劲去研究世界模型。

从生成逼真的视觉画面，到维持符合物理规律的环境状态，再到支持智能体自主决策与行动——

其背后涉及的空间表征、动态预测与行动规划能力，恰恰是传统多模态生成模型尚未充分解决的技术难题。

而如今，论文里这些看起来颇为遥不可及的世界模型构想，已经开始被AI一点点「搓」出来了。

△图源：《A Functional Taxonomy of World Models》文章

就拿抖音集团《2026 美好奇妙夜》科技节目上，基于字节AI模型实现的那番赛博造物操作为例。

单凭一句话生成画面，放到今天早已算不上什么稀奇事儿。

可当人真的走进这片AI生成的场景能够自由穿行时，此时模型需要处理的已经从生成眼前这一幅画面，延伸到了维持整个场景的空间结构。

无论人往哪个方向移动、从哪个角度观察，场景中的地形、物体及其相对位置，都需要保持足够的几何一致性。

这背后体现的，正是世界模型的空间表征能力，也是让一个AI生成的场景真正经得起反复探索的基础。

想要一把勺子，AI就能凭空生成，甚至还能顺着勺子爬行，实现实时动作交互。

看似简单的几步操作，背后却涉及世界模型的即时生成、环境状态建模与动态预测能力——

模型需要根据用户的操作，实时更新场景中的物体及空间关系，并持续预测动作引发的环境变化，保持前后状态的一致性。

甚至，连空间本身都能随手改造，画出一扇「任意门」，就能直接把现实房间和外太空连接起来。

到了这一步，世界模型的能力又向前延伸了一层——三维场景重建、空间可控编辑与跨场景连续性建模。

模型能够在保留原有场景空间结构的同时，动态重组不同场景的几何关系，支持跨场景的连续探索与实时交互：

从维持空间结构，到响应实时交互，再到支持场景编辑与跨空间重组，字节AI模型能力共同指向的也是世界模型的核心特征——

AI生成的不再只是内容，其生成的是一个能够持续存在、持续变化、持续交互的数字世界。

过去几年，大语言模型不断拓展AI处理语言与知识的能力，多模态模型则把生成能力延伸到图像、声音和视频。

而如今，随着世界模型的发展，AI开始进一步探索空间结构、环境状态及其演化规律。

生成式AI的技术发展，也正从画面有多逼真，走向生成的环境能否持续存在、响应交互，甚至模拟真实世界的运行。

世界模型，让AI在虚拟世界练就「真本事」

当然，如果世界模型只能让人类在赛博世界里四处探索，那多少有点大材小用了。

放到更大的产业坐标里看，它还有一层更具想象力的价值——

让机器在虚拟世界里大规模训练、反复试错，再将习得的能力迁移到现实。

毕竟，机器人、自动驾驶等物理AI的发展，长期受制于真实数据采集成本高、试错周期长，以及危险、极端场景难以复现等现实限制。

而世界模型提供了一条新路径：将现实环境转化为可生成、可控制、可反复验证的虚拟训练场。

从生成稀缺训练数据，到模拟复杂环境、验证行动策略，部分原本依赖真实环境的训练环节，有望转移到虚拟世界完成。

这也让世界模型开始从内容生成，进一步延伸到物理AI的训练与验证环节，成为机器人、自动驾驶等领域的重要技术探索方向。

△AI生成

先来聊聊「训练数据」这事儿。

对于自动驾驶这类物理AI系统来说，越是关键的极端场景，训练数据往往越稀缺。

比如突发事故、极端天气等低频高风险场景，可能跑上大量里程也碰不到几次，而世界模型恰好能按需生成、反复模拟这些场景。

在抖音集团《2026 美好奇妙夜》科技节目现场，他们就展示了这样一个自动驾驶Demo——

救护车突然驶来、行人横穿马路、交警现场指挥。

各种复杂路况被搬进AI生成的虚拟道路，车辆可以在其中模拟行驶、应对突发状况，还能通过多机位回放分析驾驶表现。

过去依赖大量真实路测才能积累的长尾场景，如今有望通过世界模型批量生成，并用于自动驾驶系统的反复训练与验证。

除了训练数据，世界模型的产业价值还体现在另一个关键方面——提升物理AI的训练与验证效率。

大家都知道，真实机器人每次训练都得执行动作、等待反馈，失败后还可能需要人工复位、承担硬件损坏的风险。

但这事儿到了三维世界，原本耗费大量时间的试错过程，就有机会变成可重复、可并行的模拟实验。

这次抖音集团《2026 美好奇妙夜》科技节目现场的家务机器人演示，就反映出了类似的思路。

在AI生成的虚拟家庭环境中，机器人可以练习抓取、搬运、摆放物品等家务操作，还能面对不断变化的物体位置、空间布局，调整动作策略，尝试完成任务。

即便操作失败，也能在虚拟环境中快速复现问题、调整策略，反复训练和验证。

相比现实中一次次操作、人工复位，世界模型让机器人有机会在不同场景下并行试错**，以更低的成本、更快的速度练就应对现实环境的本事**～

放眼整个行业，科技巨头们其实已经沿着不同方向，开始探索世界模型的产业落地了。

今年3月，英伟达将Cosmos世界模型与Isaac仿真平台结合，让机器人在虚拟环境中生成数据、反复训练。

而这套工业仿真方案，有望大幅降低机器人从训练到实际部署的成本。

△图源：英伟达官网

更值得一提的是，这股热潮甚至把上游芯片巨头也卷进来了。

就在刚刚过去的9月，AMD宣布豪掷82亿美元收购李飞飞的World Labs，意在提前布局世界模型算力需求，为下一代芯片研发铺路。

从机器人虚拟练功，到工业仿真，再到芯片巨头亲自下场。

世界模型的产业竞争，正在沿着产业链一路延伸，从模型能力、实际应用，逐渐深入到底层算力架构。

世界模型全球竞速，中国玩家的技术积累开始兑现

世界模型火是真火，但热潮背后，一个蛮有意思的产业现象也逐渐浮现。

海内外厂商都在探索如何构建空间稳定、能够实时交互的三维世界，但各家的技术积累、研发重心与应用路径，却有着不小差异——

技术目标逐渐汇合，实现路径却各有各的门道。

以海外为例，Google DeepMind的Genie、李飞飞的World Labs，都在探索通用世界模拟能力，重点涉及空间结构、环境动态建模与交互式场景生成。

英伟达Cosmos则更贴近物理AI的实际需求，将世界模型与机器人仿真、合成数据生成结合，尝试打通虚拟训练与现实应用。

几条路线各有侧重，但最终都指向一个目标：让AI生成的虚拟环境，逐渐具备模拟现实世界的能力。

咱再把目光转向国内。

一个值得关注的优势是，相较于海外偏重通用世界模拟的探索路径，国内厂商过去几年在图像、视频生成领域积累的技术能力，为世界模型提供了另一条颇具竞争力的演进路径。

今年7月Seedance 2.5将单次视频生成时长扩展到30秒，还强化了多模态参考控制、镜头运动和连续叙事能力。

同期发布的图片生成模型Seedream 5.0 Pro，则进一步强化了空间位置理解、结构一致性和交互式精准编辑。

用户在画面上圈出一个位置，甚至随手画几笔，就能让模型针对指定区域进行修改，真·画哪儿改哪儿。

从空间结构的一致性，到长时序的动态连续性，再到对外部操作的精准响应，恰好都是构建可交互三维世界绕不开的技术问题。

过去几年国内厂商在视觉生成和可控编辑上积累的技术，如今也开始显现出向通用世界模型延伸的潜力。

1895年，卢米埃尔兄弟将一列驶入车站的火车搬上银幕。

彼时的人们大概很难想到，这项新发明将在此后的一百多年里，彻底改变人类记录和呈现世界的方式。

一个多世纪后，随着计算机图形学、虚拟现实技术相继出现，人类开始尝试从观看屏幕里的世界，走向沉浸式体验与探索数字世界。

如今，世界模型的出现，又让这段延续百余年的技术演进，有了新的转折——

机器开始学习现实世界的空间结构与运行规律，尝试生成能够持续探索、实时交互，甚至用于模拟现实的虚拟环境。

一百多年前，人类学会了用影像记录世界。

一百多年后，我们开始尝试让影像成为一个可以亲身进入、甚至改变现实的世界。

一百多年过去，这次，我们终于开始尝试走进自己创造的影像。