arXiv cs.AI· Yuhang Chen, Guangyue Liu, Shilong Liu·· 11 小时前AI 评分34
DIVE：评估连续流中视觉参与的全双工交互基准
DIVE: Benchmarking Full-Duplex Interaction with Visual Engagement in Continuous Streams
AI 导读
研究者提出 DIVE 基准，用于评估多模态大模型在连续真实音视频流中的全双工交互能力，包含 525 个带精细人工标注和时间元数据的音视频样本，覆盖主动介入、持续参与和交互协调三类场景共六项任务。评测显示领先实时模型平均响应延迟低于 1 秒，但平均窗口响应率仅 53.77% 或更低，且根据新到达信息调整进行中的回答尤为困难。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）的最新进展显著提升了语音交互与视频理解能力。现有的在线与流式基准主要通过带时间戳的问答来评估因果多模态感知，而现实世界的交互要求模型持续识别与任务相关的多模态线索，并决定是否、何时以及如何作出回应。这使得当前模型能否在持续演变的多模态流中维持实时交互这一问题仍悬而未决。为填补这一空白，我们提出 DIVE，一个用于评估在连续且真实的多模态流下具备视觉参与的全双工交互的基准。它将六项任务组织为三种互补的交互场景。（1）主动干预评估模型能否识别新出现的视觉或语义线索并在适当时机介入。（2）持续参与通过持续的视觉跟踪与基于视觉的查询交互来评估持续参与程度。（3）交互协调评估模型在重叠及多方交互下如何协调听与说。DIVE 包含 525 个音视频样本，配有细粒度人工标注和精确的时间元数据。其评估协议将回复质量、参与决策与回复时机分开考量。我们使用回复质量、窗口回复率和反应延迟来评估具有代表性的实时模型。实验表明，领先的实时模型平均响应延迟低于一秒，但其平均窗口回复率仍处于或低于 53.77%。回复质量在不同模型和任务间差异显著，而根据新到达的信息调整进行中的回复仍尤为困难。我们希望 DIVE 能推动构建更自然、更强大的实时多模态交互系统。
| 评论： | 预印本。19 页，4 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28405 [cs.AI] |
| （或 arXiv:2610.28405v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28405 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhang Chen [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 15:48:29 UTC（1,481 KB）
来源：arXiv cs.AI · arxiv.org