arXiv cs.AI· Hyesoo Hong, Min Soo Kim, Wonje Jeung, Sangyeon Yoon, Dongjae Jeon, Albert No·· 11 小时前AI 评分39
VLMs Trace Without Tracking：诊断视觉路径跟随中的失败
VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following
AI 导读
前沿视觉语言模型（VLMs）在受控条件下跟随简单连续线条时已表现出脆弱性，附近存在其他路径时会出现不稳定的路径保持失败。内部表征分析显示，判断正确路径延续所需的信息在视觉编码阶段就已减弱。模型规模扩展、额外推理和显式追踪指令均无法解决该问题，在更真实丰富的视觉场景中同样持续存在。
正文 · AI 翻译
摘要：视觉语言模型（VLM）在多模态基准测试中表现强劲，但其可靠遵循连续视觉结构的能力仍不明确。我们聚焦于路径跟随，这是一项基本操作，要求沿着选定的路径穿过连续的视觉延续部分。在考虑交叉或重叠等复杂因素之前，我们首先测试当前 VLM 能否在去除此类混杂因素的受控设置下稳健地跟随一条简单的连续线。在多个前沿模型中，我们发现描迹已经十分脆弱，这种脆弱性表现为在存在其他邻近路径时路径保持不稳定。对内部表示的分析表明，确定正确路径延续所需的信息会变弱，而这种退化在视觉编码阶段就已出现。常见的补救措施无法解决这一弱点：模型扩展带来的改善有限，额外推理以高昂成本换来不均衡的收益，而明确的描迹指令也无法稳定性能。同样的路径保持失败和对邻近路径的敏感性在视觉更丰富、更真实的设置中依然存在，这表明当前 VLM 缺乏跟随选定路径的稳健机制。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.15672 [cs.CV] |
| （或本版本使用 arXiv:2605.15672v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.15672 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hyesoo Hong [查看邮箱]
[v1]
2026年5月15日星期五 06:48:53 UTC（13,615 KB）
[v2]
2026年10月23日星期五 04:27:49 UTC（16,236 KB）
来源：arXiv cs.AI · arxiv.org