Google DeepMind 发布世界模型 Genie 4 研究预览版,新增音频与实时场景调整
Google DeepMind 于周二以研究预览形式发布世界模型 Genie 4,可生成更逼真的可交互世界,支持在模拟中途用提示词改变天气、镜头角度或添加人物物体,并实时生成与画面匹配的音乐、环境音和对话音频。
TechCrunch:AI· Rebecca Bellan·2026-10-28 00:30· 49 分钟前AI 评分72
Google 的 Genie 4 世界模型新增音频、更逼真的世界以及实时操控
AI 导读
Google DeepMind 于周二以研究预览形式发布世界模型 Genie 4,可生成迄今最逼真的可交互世界,支持模拟中途用提示词改变场景,并实时生成与画面匹配的音乐、环境音和对话音频。
正文 · 原文
Google DeepMind 于周二以研究预览形式发布了其最新的世界模型 Genie 4。该最新模型可生成迄今最逼真、最具交互性的世界,允许用户在模拟过程中输入提示词来改变场景。该模型还能实时生成与模拟世界相匹配的音频,包括音乐、环境音和交互式对话。
Genie 4 的发布距离 AI 视频初创公司 Runway 推出其第二款世界模型 GWM Worlds 2 仅过去几个月。后者是一款可玩模型,能动态响应用户输入,并包含音频生成功能。与此同时,世界模型行业正开始整合。李飞飞的 World Labs 正被 AMD 收购,亚马逊正在洽谈收购 Decart,而 Rivian 刚刚收购了 Third Dimension,以将模拟能力引入内部用于自动驾驶测试。
Genie 4 是 Google 在拥挤的领域中保持领先的最新举措。
Google 在大约一年多前以研究预览形式发布了其前代产品 Genie 3。除了逼真程度大幅提升并具备音频功能外,Genie 4 还支持自由形式的编辑,例如实时改变天气或摄像机角度,或添加新的人物或物体。它可以将一致的场景维持长达两分钟,是其前代上限的两倍,并提供更好的物理效果和更像人类的角色。
Google 的 AI 模型 Gemini 也与 Genie 4 更紧密地集成,充当导演角色,负责规划步骤并检查画面,而 Genie 则负责创建视觉内容。在一项与 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型将任务分解为多个步骤,由 Genie 4 实时模拟。该实验展示了一种可能的方式:在机器人场景于现实世界发生之前,先在模拟中对其进行测试。
“我们未来会越来越多地看到这些混合世界模型,即 Gemini 编写代码和文本,而 Genie 实时接收这些内容,并在不同抽象层次上模拟现实,”Google 研究总监 Tejas Kulkarni 在简报会上表示。
与其他世界模型一样,其宣传的商业用例包括游戏、互动学习和机器人技术。互动学习的一个推测性示例是:进入一幅历史场景的画作,并与画中人物就所描绘的事件进行交谈。
但“受信任的测试者”——即最先获得 Google 尖端产品访问权限的人——正指出一种可能的新用途:电影原型制作。
“实时特性在那些保持创作领域心流状态极为有用的方面变得最有价值,”Google DeepMind 工程师 Diego Rivas 在新闻简报会上表示。“例如,在构思阶段、在故事板阶段——任何时候你都需要快速构思。”
Google 还提供 Veo,这是其 AI 视频生成模型,可根据文本、图像或视频提示生成带内置同步音频的高清片段——这一工具在电影制作人中越来越受欢迎。
Rivas 补充说,用户最终可以依靠 Gemini Omni——一个能够根据图像、音频和文本生成视频的多模态大语言模型——将这些原型转化为创意资产。不过他表示,这些能力距离实现还有一段时间。
在整个简报过程中,Rivas 强调 Genie 4 仍处于早期阶段,目前尚不清楚端到端的产品体验会是什么样。团队也承认 Genie 4 仍存在不足:模拟运行时间越长,细节和物体就越容易发生漂移,而且他们仍未完全弄清楚如何确保音频准确、世界内的文字清晰可读。
Genie 4 现已作为研究预览版向受信任的测试者开放。未来几周内,该模型将向 Project Genie(Google 用于根据文本或图像提示生成交互式世界的 AI 工具)的 Google AI Ultra 订阅用户,以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴推出。
当您通过我们文章中的链接进行购买时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。
Rebecca Bellan 是 TechCrunch 的高级记者,负责报道塑造人工智能的商业、政策和新兴趋势。她的作品也曾发表于 Forbes、Bloomberg、The Atlantic、The Daily Beast 等刊物。
您可以通过发送邮件至 [email protected] 或通过 Signal 上的加密消息(账号 rebeccabellan.491)联系 Rebecca 或核实其联系请求。
来源:TechCrunch:AI · techcrunch.com
来源:RadarAI · aihot.news