arXiv cs.CL· Yuxuan Hu, Weikang Shi, Yang Bo, Xudong Lu, Xintong Guo, Shuhan Li, Yuyang He, Huankang Guan, Peiwen Sun, Yunqiao Yang, Wenbo Li, Rui Liu, Hongsheng Li·· 9 天前AI 评分31
FastBench：流式 VLM 能否感知高动态真实世界视频流？
FastBench: Can Streaming VLMs Perceive High-Dynamic Real-World Streams?
AI 导读
研究者推出 FastBench，用于评测流式视频大语言模型在高动态真实视频流中的感知能力，包含 8 个领域、6 类能力共 306 组 QA 对，并附人工标注的证据区间。
正文 · AI 翻译
作者：Yuxuan Hu、Weikang Shi、Yang Bo、Xudong Lu、Xintong Guo、Shuhan Li、Yuyang He、Huankang Guan、Peiwen Sun、Yunqiao Yang、Wenbo Li、Rui Liu、Hongsheng Li
摘要：流式视频大语言模型（VLM）能够实现连续视频理解，但现有基准测试主要关注低动态场景。在有限上下文预算下，模型必须平衡时间历史、空间分辨率和时间粒度；以 1--2 FPS 的稀疏采样会遗漏快速事件。我们提出 FastBench，用于评估真实世界视频流中的高动态感知。其基于轨迹的流水线结合了来自高 FPS 片段的问答生成、对可在 2 FPS 下回答的问题的过滤、使用 SAM3 和 CoTracker3 轨迹进行答案验证，以及三轮人工检查。FastBench 包含 306 个问答对，覆盖八个领域、六种能力，以及前向、即时和后向时间范围，并带有经人工标注的证据区间。我们还提出 ProactiveFrame，这是一种无需训练的基线方法，通过文本 token 调整输入帧率。双层滑动窗口保留近期高 FPS 观测，同时将较早的观测下采样为稀疏历史。实验揭示了显著局限：最强模型 Gemini-3.5-Flash 仅得分 50.7%。更密集采样使 Qwen3-VL-8B 从 2 FPS 下的 32.9% 提升至 24 FPS 下的 44.6%，但随着历史被压缩，增益趋于饱和。ProactiveFrame 比稀疏均匀采样高出 5.4 和 1.5 个百分点，但仍远低于 oracle 引导的聚焦，表明当前 VLM 难以仅从流中判断何时需要更精细的时间感知。FastBench 为高动态流式视频理解提供了测试平台。代码和数据：this https URL。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12427 [cs.CV] |
| （或 arXiv:2610.12427v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12427 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuxuan Hu [查看邮箱]
[v1]
2026年10月8日星期四 17:55:20 UTC（6,214 KB）
来源：arXiv cs.CL · arxiv.org