DeepMind 发布 Genie 4 实时生成带音频交互世界
Google DeepMind 推出实验性世界模型 Genie 4，能实时逐帧生成交互式环境并同步生成背景音效与角色对话。该模型由 Gemini 在后台规划多步任务以动态响应提示，标志着语言推理与像素级模拟结合的混合世界模型新方向。目前仅向部分测试者开放，后续将面向 Google AI Ultra 订阅用户扩展。
报道正文
本文目录5 个章节
Google DeepMind 的 Genie 4 为早于 LLM 时代的智能体设计注入了现代新意
Google
核心要点
- Google DeepMind 推出了 Genie 4，这是一款交互式世界模型，能够实时逐帧计算环境，并首次直接生成匹配的背景音频和角色对话。
- Gemini 模型在后台引导事件发展，规划多步任务，并根据用户的文本提示和不断变化的条件持续调整模拟世界。
- Genie 4 目前仍是一款处于实验阶段的研究模型，在长会话处理和复杂物理模拟方面存在局限。目前仅向部分测试人员开放访问权限，未来将扩展至 Google AI Ultra 订阅用户。
Ask about this article… Search
Genie 4 旨在实时模拟交互式世界，包括声音和会说话的角色。Gemini 模型在后台规划模拟中的后续发展。目前仅有部分测试人员可以试用该世界模型。
Google DeepMind 已推出 Genie 4，它是该公司于 2025 年 8 月展示的 Genie 3 的后继产品。这款世界模型并不生成成品视频，而是通过逐帧计算场景并对输入做出实时反应来构建画面。用户使用键盘在场景中移动，并通过文本提示引导事件发展。
据 DeepMind 介绍，Genie 4 是该公司首款能够直接生成声音的实时世界模型。公司表示，每个世界都拥有独立的背景音频，例如穿过树林的风声。Genie 4 还能处理对话，角色之间应当能相互交谈，并对用户输入或事件做出实时反应。 DeepMind 认为，该模型在人物渲染方面的最大提升在于真实感。角色应当动作自然并能对环境做出反应，用户应能直接控制这些角色。
Gemini 模型提前规划以维持世界的一致性
据 DeepMind 称，Genie 4 基于视频模型 Gemini Omni 的能力构建，从而使世界看起来和行为更加逼真。其他 Gemini 模型则协助规划模拟过程，以保持其一致性。
如果用户通过文本提示改变天气，Gemini 应当能够根据正在运行的场景调整指令。DeepMind 表示，Gemini 还能在两次输入之间引导事件发展，使世界以合乎逻辑的方式持续演进。
DeepMind 通过多步骤任务解释了这一过程：Gemini 3.8 Flash 会持续观察场景，将目标分解为多个步骤，并利用新的帧画面来检查每个步骤是否成功执行。如果世界发生变化或用户介入，模型会相应调整其计划。
DeepMind 还在测试 Gemini 4 Argon，旨在将其 Genie 工作与机器人研究（即 Gemini Robotics）相结合。在一个演示中，Argon 将下跳棋的任务分解为多个步骤。Genie 4 接收这些文本指令，并利用它们模拟 Apptronik 的人形机器人 Apollo 玩游戏的过程，而无需涉及真实的机器人。
更长的会话仍会让模型“掉链子”
DeepMind 称 Genie 4 是一个早期的实验性模型。据该公司介绍，在短时会话中，世界能保持一致性；但在较长的模拟过程中，或在经历多次复杂的提示更改后，视觉细节可能会发生偏移，物体也不一定能持续存在。
DeepMind 表示，他们仍在研究复杂的物理交互、准确的实时音效以及可读的文本生成。
目前，Genie 4 仅作为研究预览版向部分测试人员开放。它即将通过 Project Genie Web 应用向 Google AI Ultra 订阅用户推出，同时也面向拥有 Gemini API 和 Google AI Studio 早期访问权限的合作伙伴开放。
Google 表示，所有视频和音频轨道都将带有其 SynthID 水印，该水印可隐形标记 AI 生成的内容。
一旦技术成熟，世界模型可以作为训练环境，让机器人和 AI 智能体从模拟经验中学习，而不仅仅是从数据中学习。DeepMind 认为，将 Gemini 与 Genie 结合是迈向混合世界模型的早期一步，这种模型结合了语言和代码模型的推理能力与像素级模拟。