Google 联合斯坦福、牛津推出 StreamVibe 视频智能体，让 AI 自己判断何时该开口

由 Google 领导的研究团队推出了 StreamVibe，这是一款旨在自行决定何时发言的视频智能体。测试结果首先表明，这对当今的 AI 模型来说仍然十分困难。

来自 Google、斯坦福、牛津以及多所美国大学的研究人员正在开发一款助手，它能观看你做饭或组装家具，并且只在需要时开口。借助 StreamVibe，他们构建了一个视频智能体，旨在理解诸如“如果我遇到任何困难，请帮助我”这类模糊请求。

根据论文，现有的视频助手是为“水开始沸腾时告诉我”这类明确指令而构建的，因此它们很少能捕捉到未明说的意图。它们也很难跟踪已经完成的操作，这导致它们重复建议或响应过晚；而当用户在任务中途改变请求时，这些助手往往仍坚持最初的指令。

Diagram showing how StreamVibe distinguishes between explicitly stated, unspoken, and changing user intentions during a task — StreamVibe 在任务过程中区分明确表达的、未明说的以及变化的用户意图。| 图片：Google Deepmind

打造更专注助手的三个构建模块

为了衡量这一问题，团队编制了一个基准，包含来自超过 183 小时日常生活和软件录屏的约 4,100 个示例。Gemini 2.5 Flash 提出何时提供帮助以及说什么，而四名人类评估者必须一致批准每个示例。测试涵盖三个阶段，包括明确指令、模糊目标以及随时间变化的请求。在一个示例中，一名正在拆卸玩具挖掘机的用户要求提供进度更新，然后在三分钟后转而要求进行质量检查。

在此基础上，研究人员训练了 StreamVibe-VL，这个模型显然基于阿里巴巴的 Qwen3.5-9B，每秒决定是保持沉默还是发言。第二训练阶段使用强化学习使模型更加克制，以免它不断打断。一个独立的记忆系统跟踪哪些请求待处理、哪些步骤已完成，不过是否发言以及说什么仅由模型本身决定。

Diagram of StreamVibe's architecture: a separate memory system tracks requests and task status while the model decides when and what to say. — 一个独立系统跟踪请求和任务状态，而模型本身决定何时发言以及说什么。| 图片：Google Deepmind

所有被测模型在持续运行中都会丢失对话线索

据研究人员称，StreamVibe-VL 在响应时机和质量上比其他模型提升了 10.7%，而记忆系统旨在将主动交互再提升 12.3%，并减少不必要的打断等。

StreamVibe-VL 总体上大幅优于其基础模型和其他开源模型，不过 Google 专有的 Gemini 3.8 Flash 在多项测试中得分更高。根据论文，专门的训练不会损害通用视频理解能力。

Chart showing that as video length increases, models are significantly less likely to time responses correctly, with the harness mainly reducing unnecessary interruptions. — 随着视频长度增加，模型正确把握响应时机的可能性显著降低；该框架主要减少了不必要的打断。| 图片：Google Deepmind

当模型只需在特定时刻判断提示是否合适时，它们往往能做出正确判断。但当它们处理整段视频并必须基于自己先前的回答继续推进时，所有受测系统的表现都会因错误累积而大幅下滑，而且根据系统自身的历史记录，回答的一项关键内容指标最多会下降61.5%。在超过五分钟的视频中，模型很少能选对时机，并且尤其难以在长时间跨度内跟踪一条已变更的指令。

在论文和项目页面上记录的一个将照片转换为黑白的GIMP教程中，对比模型JoyAI在用户尚未打开成品图像时就称其已经保存，而StreamVibe-VL则在正确时机给出下一步操作，例如“Colors”然后是“Desaturate”。在一份制作果酱卷吐司的分步指南中，其他模型只是描述屏幕上正在发生的事，比如面包被压平，而StreamVibe-VL则建议先切掉面包边。

Side-by-side comparison showing that while other models only describe on-screen action, StreamVibe provides specific next steps during a task. — 对比模型往往只描述视频中正在发生什么，而StreamVibe会提供具体的下一步操作。| 图片：Google

研究人员承认，现实世界的情况可能比他们的测试设置更复杂，未来的工作将研究用户偏好与环境如何随时间相互影响。

Google一段时间以来一直在研究能够主动分析视频的AI系统。9月，Google推出了面向Gemini的基于智能体的视频分析，由模型自行决定更仔细地检查哪些场景。借助Gemini 4 Argon，Google最近还展示了AI如何跟踪机器人视频中较长的动作序列并发现错误。StreamVibe的助手旨在理解任意时刻正在发生什么，并识别何时真正需要它的帮助。

在ProactiveBench基准测试中，当视觉信息缺失时，AI模型往往靠猜测或拒绝回答，而不是提出具体问题。另一项视频理解基准测试揭示了空间和时间推理方面的重大弱点。而对于自主AI智能体来说，对话本身就可能损害表现，正如Microsoft研究人员所展示的那样。