arXiv cs.AI· Shuhan Li, Huankang Guan, Xintong Guo, Yang Bo, Yuyang He, Dunyuan Xu, Jingyan Chen, Fang Liu, Tsz Kin Wan, Jinpeng Chen, Zhenqi He, Yuxuan Hu, Wenbo Li, Han Gao, Qijun Li, Long Chen, Hongsheng Li, Rui Liu·· 1 天前AI 评分52
AURA 2.0 发布：流式视频模型可主动发起对话
AURA 2.0: From User-Driven Responses to Model-Initiated Conversations in Streaming Video
AI 导读
AURA 2.0 是一个流式视频大语言模型，核心升级是模型主动对话（MIC），能在视频流中识别值得讨论的话题并在合适时机主动发起对话，无需用户提问。它还引入流式感知工具调用（SATC）和交互式视觉定位（IVG），后者可识别用户在视频帧上标注的对象并输出与帧对齐的边界框。
正文 · AI 翻译
作者：Shuhan Li、Huankang Guan、Xintong Guo、Yang Bo、Yuyang He、Dunyuan Xu、Jingyan Chen、Fang Liu、Tsz Kin Wan、Jinpeng Chen、Zhenqi He、Yuxuan Hu、Wenbo Li、Han Gao、Qijun Li、Long Chen、Hongsheng Li、Rui Liu
摘要：大多数 AI 助手仅在收到提示时才作出回应，即使视频流中出现值得对话的重要事件也保持沉默。为了超越纯粹由用户驱动的交互，我们提出 AURA 2.0，这是一个流式视频大语言模型，为 AURA 引入了三项核心升级。关键进展是模型发起对话（Model-Initiated Conversation，MIC），它使模型能够识别不断演变的视觉流中值得讨论的话题，并在无需用户查询的情况下于适当时机发起对话。流感知工具调用（Stream-Aware Tool Calling，SATC）使模型能够利用当前视觉与对话上下文调用外部工具，并将返回的信息融入正在进行的交互。交互式视觉定位（Interactive Visual Grounding，IVG）支持在用户输入和模型输出中进行视觉定位。模型可以识别用户在视频帧上标记的对象，并生成与帧对齐的边界框，将其回复与特定对象和区域关联起来。为开发这些能力，我们构建了专用的流式交互数据集，并采用三阶段训练方案，将新行为与 AURA 现有的流式交互能力相结合。我们进一步引入长时程交互记忆（Long-Horizon Interaction Memory，LHIM），以在扩展视频流中保持上下文连续性。在公开流式基准上的评估表明，AURA 2.0 在开源流式模型中取得了领先性能，针对性评估进一步验证了其新的交互能力。我们开源了模型权重和推理代码。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.17048 [cs.CV] |
| （或 arXiv:2611.17048v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.17048 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuhan Li [查看邮箱]
[v1]
2026年11月12日星期四 16:31:54 UTC（16,306 KB）
来源：arXiv cs.AI · arxiv.org