arXiv cs.CL· Yani Zhang, Dongming Wu, Wencheng Han, Xingping Dong, Shengcai Liao, Bo Du·· 11 小时前AI 评分27
TempRMOT：面向多样化动态表达的多目标指代跟踪框架与 Refer-KITTI-V2 基准
Referring Multi-Object Tracking with Diverse Dynamic Expressions
AI 导读
研究提出指代多目标跟踪（RMOT）任务，用语言表达作为语义线索引导多目标跟踪预测，同时兼顾目标数量变化与时间语义。配套发布 Refer-KITTI-V2 基准，通过半自动标注流程生成 9,758 条语言提示词。
正文 · AI 翻译
摘要：指代理解是一项基础任务，它通过定位自由形式表达中所描述的对象，将自然语言与视觉内容连接起来。然而，现有工作受限于有限的语言表达能力，缺乏在空间数量和时间状态上对对象动态进行建模的能力。为解决这些局限，我们引入了一项新的通用指代理解任务，称为指代多目标跟踪（RMOT）。其核心思想是使用语言表达作为语义线索来引导多目标跟踪的预测，全面考虑对象数量和时间语义的变化。与 RMOT 一起，我们引入了名为 Refer-KITTI-V2 的 RMOT 基准，具有可扩展且多样化的语言表达。为了以最少的人工工作量高效生成覆盖对象动态的高质量标注，我们提出了一种半自动标注流程，共制定了 9,758 条语言提示。此外，我们提出了 TempRMOT，一个用于 RMOT 的优雅的端到端基于 Transformer 的框架。其核心是一个查询驱动的时序增强模块，将每个对象表示为 Transformer 查询，使其能够与其他对象和过去帧进行长期时空交互，从而高效地细化这些查询。TempRMOT 在 Refer-KITTI 和 Refer-KITTI-V2 上均达到了最先进的性能，证明了我们方法的有效性。源代码和数据集可在 此 https URL 获取。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2406.05039 [cs.CV] |
| （或 arXiv:2406.05039v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2406.05039 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yani Zhang [查看电子邮件]
[v1]
2024年6月7日星期五 16:02:10 UTC（19,306 KB）
[v2]
2025年10月27日星期一 14:22:30 UTC（3,799 KB）
[v3]
2026年10月16日星期五 14:34:19 UTC（5,100 KB）
来源：arXiv cs.CL · arxiv.org