Google 推出 StreamVibe 视频智能体，让 AI 自主判断何时开口帮忙

The Decoder：AI 新闻· Jonathan Kemper·2026-11-01 19:25· 20 分钟前AI 评分48

Google 希望视频 AI 能理解人们在工作过程中的需求

AI 导读

Google 联合斯坦福、牛津等团队推出 StreamVibe 视频智能体，能区分用户明说、未说出口和任务中途改变的需求，自主决定何时出声帮忙。其 StreamVibe-VL 模型基于 Qwen3.5-9B，响应时机与质量比其他模型提升 10.7%，记忆系统再提升主动交互 12.3%。测试显示视频超过 5 分钟后各模型普遍难以把握正确时机，基于自身历史回答的关键内容指标最多下降 61.5%。

正文 · 原文

2026年11月1日

Image description

Liu 等

由 Google 领导的研究团队推出了 StreamVibe，这是一款旨在自行决定何时开口的视频智能体。测试首先表明，这对当今的 AI 模型来说仍然非常困难。

来自 Google、斯坦福、牛津以及多所美国大学的研究人员正在开发一款助手，它能观看你做饭或组装家具，并只在需要时开口。借助 StreamVibe，他们构建了一个视频智能体，旨在理解诸如“如果我遇到任何困难，请帮助我”这样模糊的请求。

根据论文，现有的视频助手是为“水开始沸腾时告诉我”这类明确指令而构建的，因此它们很少能捕捉到未说出口的意图。它们也很难跟踪已经完成的操作，这导致它们重复建议或响应过晚；而当用户中途改变请求时，助手往往仍坚持最初的指令。

Diagram showing how StreamVibe distinguishes between explicitly stated, unspoken, and changing user intentions during a task — StreamVibe 能区分任务过程中明确表达的、未说出口的和不断变化的用户意图。| 图片：Google Deepmind

构建更专注助手的三个模块

为了衡量这一问题，团队编制了一个基准，包含来自超过 183 小时日常生活和软件录制的约 4,100 个示例。Gemini 2.5 Flash 建议何时提供帮助以及说什么，而四名人类评估者必须一致批准每个示例。测试涵盖三个阶段，包括明确指令、模糊目标和随时间变化的请求。在一个示例中，一名正在拆卸玩具挖掘机的用户要求提供进度更新，然后在三分钟后转而要求进行质量检查。

在此基础上，研究人员训练了 StreamVibe-VL，这个模型显然基于阿里巴巴的 Qwen3.5-9B，每秒决定是保持沉默还是开口。第二个训练阶段使用强化学习，使模型更加克制，以免不断打断。一个独立的记忆系统跟踪哪些请求待处理、哪些步骤已完成，不过模型本身决定是否开口以及说什么。

Diagram of StreamVibe's architecture: a separate memory system tracks requests and task status while the model decides when and what to say. — 一个独立系统跟踪请求和任务状态，而模型本身决定何时说以及说什么。| 图片：Google Deepmind

所有测试模型在持续运行中都会跟不上对话

据研究人员称，StreamVibe-VL 在响应时机和质量上比其他模型提升了 10.7%，而记忆系统旨在将主动交互再提升 12.3%，并减少不必要的打断等。

StreamVibe-VL 通常大幅超越其基础模型和其他开源模型，不过 Google 专有的 Gemini 3.8 Flash 在多项测试中得分更高。根据论文，这种专门训练不会损害通用视频理解能力。

Chart showing that as video length increases, models are significantly less likely to time responses correctly, with the harness mainly reducing unnecessary interruptions. — 随着视频长度增加，模型正确把握回应时机的可能性显著降低；该框架主要减少不必要的打断。 | 图片：Google Deepmind

当模型只需在特定时刻判断某个提示是否合适时，它们往往能做出正确决定。但当它们处理整段视频并需要基于自己先前的回应继续推进时，所有受测系统的性能都会因错误累积而大幅下降，而且基于系统自身历史，回应的关键内容指标最多下降 61.5%。在超过五分钟的视频中，模型很少能选对时机，并且尤其难以在较长时段内跟踪已发生变化的指令。

在论文和项目页面上记录的一个关于将照片转换为黑白的 GIMP 教程中，对比模型 JoyAI 在用户尚未打开成品图像时就表示该图像已经保存，而 StreamVibe-VL 则在正确时机给出下一步，例如“Colors”，然后是“Desaturate”。在制作果酱卷吐司的分步指南中，其他模型只是描述屏幕上正在发生什么，例如面包被压平，而 StreamVibe-VL 则建议先切掉面包边。

Side-by-side comparison showing that while other models only describe on-screen action, StreamVibe provides specific next steps during a task. — 对比模型往往只描述视频中正在发生什么，而 StreamVibe 会提供具体的下一步。 | 图片：Google

研究人员承认，现实世界的情况可能比他们的测试设置更复杂，未来的工作将研究用户偏好与环境如何随时间相互影响。

Google 一段时间以来一直在研究能够主动分析视频的 AI 系统。9 月，Google 推出了面向 Gemini 的基于智能体的视频分析，由模型自行决定更仔细地检查哪些场景。借助 Gemini 4 Argon，Google 最近还展示了 AI 如何跟踪机器人视频中较长的动作序列并发现错误。StreamVibe 的助手旨在理解任意时刻正在发生什么，并识别何时真正需要它的帮助。

在 ProactiveBench 基准测试中，当视觉信息缺失时，AI 模型往往会猜测或拒绝回答，而不是提出具体问题。另一项视频理解基准测试揭示了空间和时间推理方面的重大弱点。而对于自主 AI 智能体，对话本身可能会损害性能，正如微软研究人员所展示的那样。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅

完整访问 THE DECODER 上的每一篇文章
无广告
加入评论和社区讨论
通过邮件获取每周 AI 新闻回顾
每年 6 次：“AI Radar”——深入探讨最重要的 AI 话题
每日 AI 新闻，始终紧跟最新动态
我们完整的十年档案
由拥有 10 年以上 AI 经验的团队报道

来源：The Decoder：AI News · the-decoder.com