arXiv cs.AI· Yogesh Kumar·· 2 天前AI 评分22
视频理解中的查询引导定位：QDETRv、TOViT 与 MATR
Where, How, and When: Query-Guided Grounding for Video Understanding
AI 导读
该论文研究查询引导的视频定位三类任务：对象级、关系级与时刻级。对象级提出 QDETRv（Detection Transformer 的查询引导扩展，用于视频中未见对象的一次性定位）与 TOViT（少样本视频对象检测）；关系级引入视频少样本指代关系；时刻级提出 MATR，用双阶段 Dynamic Time Warping 做视频到视频时刻检索，并可扩展至文本到视频检索。
正文 · AI 翻译
摘要：理解视频内容需要在多个粒度层级上进行推理，从识别物体到解读其交互，再到定位特定动作发生的时间。本论文研究了三个查询引导的定位任务，分别回答关键物体在哪里（物体级定位）、它们如何交互（关系级定位）以及特定时刻何时发生（时刻级定位）。在物体级定位方面，我们提出了 QDETRv，这是 Detection Transformer 的查询引导扩展，用于视频中未见物体的一次性定位，它结合了查询-上下文融合、用于时间一致性的记忆模块，以及在合成物体轨迹上的无监督预训练。我们进一步提出了时序物体感知视觉 Transformer（TOViT）用于少样本视频物体检测，它建立在语言对齐的开放集视觉编码器之上，并在帧间传播高置信度的物体特征。在关系级定位方面，我们引入了视频中的少样本指称关系：给定一个（主语、谓语、宾语）查询和几个共享该谓语的支撑视频，通过使用元学习的关系网络优化 T 部随机场来定位实体，该网络具有查询条件的平移嵌入、全局语义聚合、局部定位聚合以及基于信念传播的消息传递。在时刻级定位方面，我们提出了用于视频到视频时刻检索的 Moment Alignment Transformer（MATR），它使用双阶段动态时间规整进行融合前和融合后对齐、用于边界预测的可学习查询，以及带有时间增强的自监督预训练；MATR 还扩展到文本到视频的时刻检索，其性能与最先进技术相当或更好。这些贡献推进了跨空间、关系和时间定位的查询引导视频理解。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21422 [cs.CV] |
| （或 arXiv:2610.21422v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21422 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yogesh Kumar [查看电子邮件]
[v1]
2026年10月15日星期四 07:32:57 UTC（11,487 KB）
来源：arXiv cs.AI · arxiv.org