跳到正文
The Decoder· Maximilian Schreiner·· 1 小时前AI 评分72

Google DeepMind 发布 Genie 4 实时世界模型,由 Gemini 负责规划

Google Deepmind's Genie 4 puts a modern spin on agent designs that predate LLMs

AI 导读

Google DeepMind 推出 Genie 3 的继任者 Genie 4,这是其首个直接生成声音的实时世界模型,可逐帧计算场景并响应用户的键盘操作和文本提示。

正文 · AI 翻译

Genie 4 旨在实时模拟交互式世界,包括声音和会说话的角色。Gemini 模型在后台规划模拟中接下来发生的事情。目前只有部分测试者可以试用该世界模型。

Google Deepmind 推出了 Genie 4,它是 Genie 3 的继任者,后者于 2025 年 8 月发布。该世界模型不生成成品视频,而是逐帧计算场景,并在过程中对输入做出反应。用户通过键盘在场景中移动,并用文本提示引导事件发展。

据 Deepmind 称,Genie 4 是该公司首个可直接生成声音的实时世界模型。该公司表示,每个世界都有自己的背景音频,例如树林中的风声。Genie 4 还能处理对话,角色之间应当可以互相交谈,并实时对用户输入或事件做出反应。

Deepmind 认为,真实感方面最大的提升在于模型对人物的渲染。角色应当自然移动并对周围环境做出反应,用户应当能够直接控制它们。

Gemini 模型提前规划以保持世界连贯

据 Deepmind 称,Genie 4 基于视频模型 Gemini Omni 的能力构建,使世界看起来和行为起来都更真实。其他 Gemini 模型帮助规划模拟,以保持其一致性。

如果用户通过文本提示改变天气,Gemini 应当将指令适配到正在运行的场景中。Deepmind 表示,Gemini 还会在输入之间引导事件发展,使世界以合理的方式持续演变。

Deepmind 用多步骤任务来解释这一过程。Gemini 3.8 Flash 持续观察场景,将目标分解为步骤,并利用新帧检查每一步是否成功。如果世界发生变化或用户介入,模型会调整其计划。

Deepmind 还在测试 Gemini 4 Argon,以将其 Genie 工作与机器人研究 Gemini Robotics 联系起来。在一个演示中,Argon 将下跳棋的任务分解为多个步骤。Genie 4 将这些步骤作为文本指令接收,并用它们来模拟 Apptronik 的人形机器人 Apollo 下棋,全程不涉及真实机器人。

更长的会话仍会让模型出错

Deepmind 称 Genie 4 是一个早期实验性模型。据该公司称,世界在短会话中能保持连贯,但在更长的模拟中或经过多次复杂的提示更改后,视觉细节可能发生变化,物体也不总能持续存在。

Deepmind 表示,它仍在研究复杂的物理交互、准确的实时声音和可读文本。

目前,Genie 4 仅作为研究预览版提供给部分测试者。它即将在 Project Genie 网页应用中向 Google AI Ultra 订阅用户开放,同时也会向提前获得 Gemini API 和 Google AI Studio 访问权限的合作伙伴开放。

Google 表示,所有视频和音轨都将带有其 SynthID 水印,该水印会以不可见的方式标记 AI 生成的内容。

一旦成熟,世界模型可以作为训练环境,让机器人和 AI 智能体从模拟经验中学习,而不仅仅是从数据中学习。Deepmind 认为,将 Gemini 与 Genie 配对是迈向混合世界模型的早期一步,这种模型将语言和代码模型的推理能力与像素级模拟相结合。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

来源:The Decoder · the-decoder.com