跳到正文
arXiv cs.AI· Tianci Xie, Li Chen, Pinxue Guo, Rui Zheng·· 23 小时前AI 评分38

NexSight:面向细粒度智能体长视频理解的可验证任务

NexSight: Verifiable Tasks for Fine-Grained Agentic Long-Video Understanding

AI 导读

NexSight 提出可验证任务框架,用于评估和训练智能体长视频理解,其 SightForge 流水线产出 SightLine——来自 108 个长视频的 310 个证据可追溯任务。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:关于长视频的细粒度问题会问某个动作发生了多少次、事件以什么顺序展开,或者某个状态究竟在何时改变。回答这些问题可能需要找出散落在数小时视频中的短暂片段。能够决定何时、何地查看的智能体模型有望找到这些片段,但这种能力既难以衡量,也难以学习。稀疏的支撑证据或许能证明某个动作发生过,却无法确定其总次数;要验证覆盖整个时间线的论断,需要检查是否遗漏了发生次数以及是否重复计数。而仅监督答案,并不会显式监督对证据的搜索。我们提出 NexSight,它构建可验证任务,以同时评估和训练智能体式长视频理解。其智能体流水线 SightForge 只有在以下条件满足时才接受一个任务:对草稿答案不可见的验证器能够从原始视频中密集重新获取的证据重建该答案,并且反例检查无法将其驳倒。由此得到 SightLine,包含来自 108 个长视频的 310 个证据可追溯任务,并通过 SightLoop 进行评估;SightLoop 是一个共享的多尺度测试框架,支持时间探索、局部检查、证据整合和回访,同时记录返回的观察结果。在不重叠的视频上,求解器在已验证任务上的轨迹成为观察决策的步骤级监督。最强模型在 SightLine 上仅达到 54.52%,但在给定标注证据时达到 79.35%。在不到 6K 个示例的情况下,Sight-35B 将其基础模型的交互准确率几乎翻倍(从 21.29% 提升到 42.26%),优于同系列的 397B 模型,在后训练后开始使用其基础模型从未使用过的显式空间检查,并在两个外部长视频基准上提升超过 8 个点。
评论: 25 页,包括参考文献和补充材料
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.22790 [cs.CV]
  (或 arXiv:2611.22790v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22790

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tianci Xie [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 13:52:28 UTC(14,704 KB)

来源:arXiv cs.AI · arxiv.org