arXiv cs.CL· Rahul Murali Shankar, Titus von der Malsburg, Sebastian Pad\'o·· 3 天前AI 评分20
现成语言-视觉编码器可预测视觉世界实验中的注视偏好
Off-the-Shelf Language-Vision Encoders Predict Human Gaze Preferences in Visual World Experiments
AI 导读
一项研究提出用现成的双模态 CLIP 双编码器预测视觉世界实验中的注视偏好，通过对该模型施加归因方法推导目标偏好，无需生成式架构、无需微调，尽管模型并未针对该任务训练。该方法能定性复现一项经典英语视觉世界研究中人类预测性加工的注视模式。
正文 · AI 翻译
摘要：计算心理语言学的一个核心问题是，神经语言模型在多大程度上能够作为人类语言加工的认知充分模型。然而，相关工作绝大多数都集中在书面或口语语言的单模态情形上。相比之下，诸如同时向参与者呈现视觉和语言输入的视觉世界实验等多模态范式则被忽视了。在本文中，我们提出了一种新方法，用于预测视觉世界研究中的注视偏好模式。为此，它通过将归因方法应用于一个简单的双模态 CLIP 双编码器来推导目标偏好。我们证明了该方法能够定性地复现一项具有开创性的英语视觉世界研究中发现的注视模式，该研究展示了人类的预测性加工。该方法无需生成式架构，也无需微调，尽管它并未针对该任务进行训练。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2608.07282 [cs.CL] |
| （或 arXiv:2608.07282v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.07282 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Sebastian Pado [查看电子邮件]
[v1]
2026年8月7日星期五 14:42:51 UTC（752 KB）
[v2]
2026年10月14日星期三 06:32:56 UTC（869 KB）
来源：arXiv cs.CL · arxiv.org