arXiv cs.AI· Dan Zlotnikov, Ohad Ben-Shahar·· 11 小时前AI 评分24
DISTRACT:视觉退化下竞争目标间文本参考的退化指数研究
DISTRACT: Degradation-Indexed Study of Textual Reference Across Competing Targets
AI 导读
研究者提出 DISTRACT 基准,在固定视频、目标与干扰物的条件下,将四种文本先验与四种图像退化沿受控严重度轴交叉组合,评测五个视觉语言跟踪器(VLT)。Molmo2 与 JointNLT 表现出有方向的文本利用,UVLTrack、MMTrack、DUTrack 对文本语义变化响应微弱,且在 FDR 校正后无定向行为效应。
正文 · AI 翻译
摘要:视觉语言跟踪器(VLT)接受旨在辅助跟踪的描述,但接受文本并不能证明其内容会改变跟踪决策,尤其是在视觉证据退化时。我们提出 DISTRACT,一个匹配干预基准,它在受控的严重程度轴上交叉四种文本先验与四种图像退化,同时保持视频、目标和干扰物固定。我们在四个数据集上评估了五个 VLT,采用行为对比、逐层表征探针和激活修补。Molmo2 和 JointNLT 表现出有方向的文本使用。部分效应在退化下收缩,而另一些在多重性校正后未显示显著的端点变化。UVLTrack、MMTrack 和 DUTrack 对文本语义变化的响应较弱,在测试设置中经 FDR 校正后没有有向行为效应存活。模型内部的分析揭示,在接近决策的状态下,Molmo2 和 JointNLT 中可解码正确与冲突文本,而其他三个系统则不能。在响应性模型中,可解码性在后期状态达到峰值,此时替换几乎不产生行为变化,而替换选定的早期状态会将冲突相关轨迹重定向至目标。由于匹配正确的供体并未显著优于无关供体,这些干预识别出早期干预敏感状态,但未确立目标特定的语义救援。因此,DISTRACT 揭示了在退化视觉证据下文本何时以及何处影响跟踪。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.28419 [cs.CV] |
| (或 arXiv:2610.28419v1 [cs.CV] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.28419 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Dan Zlotnikov [查看邮箱]
[v1]
2026年10月20日 星期二 15:53:23 UTC(8,758 KB)
来源:arXiv cs.AI · arxiv.org