Google 发布 Genie 4 世界模型，支持实时音频与交互引导

Google DeepMind 周二以研究预览版的形式发布了其最新的 world model（世界模型）Genie 4。这款最新模型能够生成迄今最逼真且最具交互性的虚拟世界，允许用户在模拟过程中通过输入提示词实时改变场景。该模型还能生成与模拟世界相匹配的实时音频，包括音乐、环境噪音和交互式对话。

Genie 4 的发布距离 AI 视频初创公司 Runway 推出其第二款 world model GWM Worlds 2 仅数月之久。GWM Worlds 2 是一款可玩的模型，能够动态响应用户输入并包含音频生成功能。与此同时，world model 行业正开始整合。李飞飞的 World Labs 将被 AMD 收购，亚马逊正在洽谈 收购 Decart，而 Rivian 刚刚收购了 Third Dimension，旨在将用于自动驾驶测试的模拟能力内部化。

Genie 4 是 Google 在竞争激烈的领域中保持领先地位的最新举措。

Google 一年多前曾以研究预览版的形式发布了其前身 Genie 3。除了具备更高的照片级真实感和音频功能外，Genie 4 还支持自由编辑，例如实时更改天气或相机角度，以及添加新的人物或物体。它能够将场景一致性维持长达两分钟，是其前代产品限制的两倍，并提供更精准的物理模拟和更像人类的角色表现。

Google 的 AI 模型 Gemini 也与 Genie 4 实现了更紧密的集成，充当“导演”角色，负责规划步骤和检查帧画面，而 Genie 则负责创建视觉效果。在一项与 Gemini Robotics 相关的研究实验中，一个 Gemini 4 Argon 模型将任务分解为多个步骤，由 Genie 4 进行实时模拟。该实验展示了一种在现实世界发生之前，先在模拟环境中测试机器人场景的可能途径。

Google 研究总监 Tejas Kulkarni 在一次简报会上表示：“未来我们将越来越多地看到这种混合式 world model，其中 Gemini 负责编写代码和文本，而 Genie 则实时摄取这些信息并在不同抽象层级上模拟现实。”

与其他世界模型一样，其主打的商业应用场景包括游戏、互动学习和机器人技术。互动学习的一个设想性示例是：输入一幅描绘历史场景的画作，并与画中人物就所描绘的事件进行对话。

但“受信任测试者”——即率先体验谷歌前沿产品的人群——正指向一种潜在的新用途：电影原型制作。

谷歌 DeepMind 工程师 Diego Rivas 在媒体简报会上表示：“实时特性在那些需要保持创作心流状态的领域最具价值。例如，在构思阶段、分镜阶段——任何你需要快速产生创意的时刻。”

谷歌还提供 Veo，这是一款 AI 视频生成模型，可根据文本、图像或视频提示生成带有同步音频的高清片段——该工具在电影制作人中日益流行。

Rivas 补充说，用户最终可以依赖 Gemini Omni——一款能够根据图像、音频和文本生成视频的多模态大语言模型——将这些原型转化为创意资产。但他指出，这些功能仍需时日才能成熟。

在整个简报会期间，Rivas 强调 Genie 4 仍处于早期阶段，端到端的产品体验尚不明朗。团队也承认 Genie 4 仍存在不足：随着模拟运行时间的延长，细节和物体可能会出现漂移，且他们尚未完全解决如何确保音频准确以及场景中文字清晰可读的问题。

Genie 4 目前作为研究预览版向受信任测试者开放。在未来几周内，该模型将逐步向 Google AI Ultra 订阅用户推出，集成于 Project Genie（谷歌用于根据文本或图像提示生成交互式世界的 AI 工具）中，并向 Gemini API 和 Google AI Studio 的早期访问合作伙伴开放。