Google DeepMind 发布 Genie 4 实时世界模型，原生生成音频并由 Gemini 3.8 Flash 在循环中规划

MarkTechPost· Michal Sutter·2026-10-28 15:34· 1 小时前AI 评分69

认识 Google DeepMind 的 Genie 4：带原生音频的实时世界模型

AI 导读

Google DeepMind 发布 Genie 4 世界模型研究预览，可从文本和图像提示实时生成可探索世界，并原生生成环境音、音乐和角色对话。架构上由 Gemini Omni 锚定世界外观，Gemini 3.8 Flash 在模拟循环内解释提示、拆解目标、校验帧并重规划。

正文 · 原文

Google DeepMind 已发布 Genie 4，作为面向受信任测试者的研究预览。Genie 4 世界模型可根据文本和图像提示实时生成可探索的世界。它还能生成声景：环境噪声、音乐和角色对话。用户通过键盘控制移动，并用自然语言提示引导事件发展。更大的变化在架构层面。现在有一个 Gemini 模型作为规划器运行在模拟循环内部。这种模式对任何为智能体或机器人构建训练环境的人都很重要。

TL;DR

运行方式：仅限 Google 托管（Project Genie 网页应用、Gemini API 早期访问）。
性能：照片级真实世界，带原生音频和实时文本引导。
最佳：场景一致性最长可达 2 分钟，是 Genie 3 的两倍，据 TechCrunch 的简报。
最差：会话持续几分钟，且反复编辑提示后物体会漂移。

什么是 Genie 4？

Genie 4 是 Google DeepMind 的世界模型，逐帧模拟交互式环境。它不是视频片段生成器。每一帧都会在用户输入到达时做出响应。

DeepMind 表示该模型是原生多模态的。音频、音乐和对话与视觉内容一起生成。这是 DeepMind 首个原生生成音频的实时世界模型。

它接替 2025 年 8 月发布的 Genie 3。Genie 3 以 720p 和每秒 24 帧运行，视觉记忆可回溯 1 分钟。

Genie 4 如何使用 Gemini？

Genie 4 借鉴了 Gemini 家族的两个部分。Gemini Omni 锚定每个世界的外观和行为。其他 Gemini 模型负责保持模拟连贯性的推理。

运行时循环的工作方式如下：

解释：当你输入提示时，Gemini 会调整它以适应正在运行的场景。
规划：Gemini 3.8 Flash 将目标拆解为一系列步骤。
验证：它检查传入的帧，以确认每一步都成功。
适应：如果世界发生变化或你进行干预，它会修订计划。

在用户输入之间，Gemini 还会引导场景，使世界持续演进。DeepMind 团队将此视为迈向混合世界模型的早期一步。在该设计中，语言模型处理结构和叙事，而 Genie 渲染像素和声音。

在 Genie 4 世界中你能做什么？

用文本引导：你可以在会话中途改变天气、移动相机或添加新的人物或物体。
模拟物理和人物：DeepMind 提到了空气动力学和碰撞。它称人体运动是最大的飞跃，角色会对周围环境做出反应。
聆听世界：每个世界都带有环境音频。角色还可以进行实时响应你输入的对话。
测试机器人任务：在一项研究演示中，Gemini 4 Argon 将一个跳棋任务拆分为多个步骤。Genie 4 将每个步骤作为文本说明接收，并模拟 Apptronik 的 Apollo 人形机器人玩这个游戏。

Genie 4 与其他世界模型相比如何？

DeepMind 没有发布 Genie 4 的基准测试表格。下面的对比仅使用各项目自身来源中披露的规格。

功能	Genie 4	Genie 3	Runway GWM Worlds 2	Skywork Matrix-Game 3.0
发布日期	2026年10月27日	2025年8月5日	2026年9月3日	2026年3月27日
参数量	未披露	未披露	未披露	5B（另有 2x14B MoE 变体）
分辨率 / 帧率	未披露	720p / 24 fps	720p / 24 fps	720p / 最高 40 fps
原生音频	支持，包括对话	未报告	支持，48 kHz，包括语音	未报告
会话中文本控制	支持，由 Gemini 中介	支持，可提示世界事件	支持，带时间戳的文本动作	键盘和鼠标操作
循环中的 LLM 规划器	Gemini 3.8 Flash	无	无（可选外部测试框架）	无
一致性	几分钟；TechCrunch 测试为 2 分钟	几分钟；1 分钟视觉记忆	无预设时长；记忆不完美	分钟级记忆
硬件	Google 托管，未披露	Google 托管，未披露	Runway 托管，未披露	DiT 使用 8 块 GPU，VAE 使用 1 块
访问 / 许可	受信任测试者；即将面向 AI Ultra 和 API	Project Genie（AI Ultra）	研究预览，联系表单	MIT，开放权重

谁可以使用 Genie 4，何时可用？

Genie 4 今天已面向受信任测试者上线。据 DeepMind 称，预计很快将向 Project Genie 中的 Google AI Ultra 订阅者开放。接下来是 Gemini API 和 Google AI Studio 的早期访问合作伙伴。

所有 Genie 4 视频和音频都将带有 SynthID 水印。DeepMind 表示，在预览之前已进行内部安全评估。

迄今为止，测试者涵盖创意产业、新闻业、教育、游戏和工程领域。

已报告的用途包括：

电影制作人为预可视化运行多个实时“镜头”。
摄影记者将单张档案照片转化为有依据的模拟。
游戏开发者在编写引擎代码之前测试风格和机制。
企业合作伙伴生成从零到一的模拟场景。

Genie 4 有哪些局限？

DeepMind 在 Genie 4 模型页面上列出了几个未解决的问题：

在较长的会话中、复杂的提示编辑之后或导航过程中，视觉细节和物体恒存性会发生漂移。
交互仅限于几分钟，而非长时间会话。
真实世界地点无法以完全准确的方式模拟。
可读文本通常仅在输入描述中出现时才会显示。
实时音频准确性和多智能体交互仍未解决。

关键要点

Genie 4 实时同时生成世界、环境音频和对话。
Gemini 3.8 Flash 在循环内进行规划、检查帧并重新规划。
未披露参数量、分辨率、帧率或基准测试。
访问从受信任测试者开始，然后是 AI Ultra 和 Gemini API 合作伙伴。
漂移和短会话仍是主要的实际限制。

查看 Genie 4 公告、Genie 4 模型页面 和 Project Genie 候补名单。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等？联系我们

文章 Meet Google DeepMind’s Genie 4: Real-Time World Model With Native Audio 首次出现在 MarkTechPost。

来源：MarkTechPost · marktechpost.com