arXiv cs.AI· Bing Fan, Yunhe Feng, Yan Huang, Heng Fan·· 10 小时前AI 评分24
TeSCo：利用文本语义实现鲁棒的跨视角目标对应
Exploiting Textual Semantics for Robust Cross-View Object Correspondence
AI 导读
TeSCo 框架通过视觉语言模型生成目标的文本描述，并将其文本特征与视觉特征融合，用于跨视角目标对应。该框架引入文本条件跨模态融合（TCF）模块和迭代文本特征精炼（ITFR）模块，在 Ego-Exo4D 和 HANDAL-X 上取得 SOTA 结果。论文已被 NeurIPS 2026 接收，代码已开源。
正文 · AI 翻译
摘要：跨视角目标对应（CVOC）旨在建立来自不同视角的查询视频与搜索视频中同一目标之间的关联。现有方法通常依赖视觉线索进行 CVOC。尽管近期取得了进展，这些方法在视角变化和外观变化显著的复杂场景中仍表现不佳，原因是缺乏足够的目标信息。为此，我们提出了 TeSCo，一个利用目标丰富的文本语义（除视觉线索之外）进行跨视角目标对应的框架。我们的关键洞见是：目标的文本描述通过捕捉类别、纹理和颜色等多种属性，提供了视角和外观不变的语义，这些语义与视觉线索互补，因此能够增强复杂场景中对应的鲁棒性。受此启发，TeSCo 首先使用视觉-语言模型从给定的查询视角生成目标的文本表达，然后提取文本特征以增强视觉特征，用于在搜索视角中进行定位。为实现这一点，我们引入了一个文本条件跨模态融合（TCF）模块，该模块通过文本引导的调制将文本特征融入视觉特征，从而产生更鲁棒的多模态目标表示用于目标对应。由于并非所有文本线索都与当前搜索视角帧中的目标同等兼容，我们提出了一个迭代文本特征细化（ITFR）模块，在 TCF 模块之前利用搜索视角信息逐步调整文本特征，使搜索视角感知的文本语义能够融合到视觉特征中，从而获得更好的性能。在 Ego-Exo4D 和 HANDAL-X 上的大量实验中，TeSCo 展示了最先进的结果，并大幅优于其他模型，验证了其有效性。我们的代码发布于 此 https URL。
| 评论： | 被 NeurIPS 2026 接收。12 张图，12 张表。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| ACM 分类： | I.4.6; I.4.8; I.2.10 |
| 引用为： | arXiv:2611.02356 [cs.CV] |
| （或 arXiv:2611.02356v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02356 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bing Fan [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 01:04:24 UTC（31,898 KB）
[v2]
2026 年 11 月 3 日星期二 22:42:56 UTC（31,898 KB）
来源：arXiv cs.AI · arxiv.org