跳到正文
arXiv cs.CL· Xiaoyu Ma, Zheyuan Zhang, Kaiwen Shi, Yanfang Ye·· 12 小时前AI 评分22

超越正确答案:组合线索如何影响视觉判断

Beyond Correct Answers: How Compositional Cues Shape Visual Judgments

AI 导读

研究通过固定图像与陈述、隔离字段标签效应,在十个模型和六项任务上考察结构化提示中各标签对视觉绑定判断的作用。结果显示,存在关系标签时加入对象角色标签对 Qwen3 在 Spatial 任务上有帮助,却损害 Qwen2;Qwen3 在保留提示下的优势主要来自交换提示引发的错误,保留提示本身接近基线。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉问答要求模型将属性和关系分配给正确的对象,这一问题被称为视觉绑定。结构化提示通过带标签的字段使这些分配变得明确。然而,相比完整提示的改进并不能揭示哪些标签有帮助,或它们如何相互作用。首先,我们在十种模型和六项任务上,通过保持图像和陈述固定,分离出字段标签效应。这些比较揭示了总体准确率可能掩盖的差异。在存在关系标签的情况下,添加对象角色标签对 Qwen3 有帮助,但在 Spatial 任务上对 Qwen2 有害。其次,我们将保留或交换问题角色分配的辅助提示与无提示基线进行比较。在两个图像集上,Qwen3 在保留提示下的优势主要反映了交换提示所导致的错误。保留提示仍接近基线。字段顺序进一步影响危害程度。第三,我们测试更清晰的提示措辞以及直接选择图像中所示的关系。更清晰的提示改善了文本匹配,但并未一致地改善视觉判断。相比之下,关系选择在 Qwen3 和 GPT-4.1-mini 中部分减少了某些提示的错误。
评论: 29 页,6 幅图
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL)
引用为: arXiv:2610.28843 [cs.CV]
  (或 arXiv:2610.28843v1 [cs.CV] 为此版本)
  https://doi.org/10.48550/arXiv.2610.28843

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Xiaoyu Ma [查看电子邮件]
[v1] 2026 年 10 月 20 日星期二 19:16:00 UTC(21,395 KB)

来源:arXiv cs.CL · arxiv.org