arXiv cs.AI· Sijia Chen, Shaofeng Liang, Lijuan Ma, Yanqiu Yu, Nan Li, Wenshuo Chen, Runwei Guan, Dongming Wu, En Yu, Yutao Yue·· 3 天前AI 评分22
DRMOT：面向 RGBD 指代多目标跟踪的数据集与框架
DRMOT: A Dataset and Framework for RGBD Referring Multi-Object Tracking
AI 导读
针对现有指代多目标跟踪（RMOT）仅依赖 2D RGB 观测、难以唯一确定目标的问题，研究者提出 DRMOT 任务并构建 DRSet 数据集，包含 186 段 RGB-D 源序列上的 2,076 条指代表达，配有同步 RGB 图像、深度图及显式深度相关描述。
正文 · AI 翻译
摘要：指代多目标跟踪（RMOT）旨在根据语言描述跟踪特定目标，在机器人和自动驾驶等交互式 AI 系统中发挥着至关重要的作用。然而，现有的 RMOT 方法仅依赖 2D RGB 观测。由于相似的 2D 投影可能对应不同的 3D 配置，可用的观测可能无法唯一确定所指代的目标。这在任务需求与可用输入之间造成了根本性的不匹配。为推进 DRMOT 任务的研究，我们构建了 DRSet，一个专为 DRMOT 任务量身定制的数据集。DRSet 包含 186 个 RGB-D 源序列上的 2,076 条指代表达。它具有与语言描述配对的同步 RGB 图像和深度图，包括显式的深度相关描述，以系统性地评估空间-语义检测与跟踪能力。此外，我们提出了 DRTrack，一个由 MLLM 引导的深度指代跟踪框架。DRTrack 利用经过几何感知 GRPO 微调的多模态大语言模型（MLLM），从 L+RGB+D 联合输入中实现精确的空间-语义检测，同时结合显式深度线索以增强稳健的轨迹关联。在 DRSet 数据集上的大量实验证明了我们框架的有效性。我们的数据集和代码将在 此 https URL 提供。
| 评论： | Github：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.04692 [cs.CV] |
| （或 arXiv:2602.04692v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.04692 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Sijia Chen [查看邮箱]
[v1]
2026 年 2 月 4 日星期三 15:56:16 UTC（26,470 KB）
[v2]
2026 年 2 月 6 日星期五 04:39:34 UTC（26,470 KB）
[v3]
2026 年 10 月 11 日星期日 05:17:26 UTC（18,603 KB）
来源：arXiv cs.AI · arxiv.org