arXiv cs.CL· Jiaxuan Guo, Xingyu Ren, Kejia Zhang, Jingxin Yang, Youran Sun, Haizhao Yang·· 12 小时前AI 评分34
先问“导演能看到什么”会改变视觉语言模型的选择
Asking What a Director Sees Can Change What Vision-Language Models Choose
AI 导读
在渲染版 Director Task 中，先问模型“导演能看到哪些积木”会使选择被遮挡积木的比例在六个 GPT 模型上上升 12 至 88 个百分点、在 Qwen3.8-27B 上上升 17 个百分点，尽管模型大多能正确报告导演所见。
正文 · AI 翻译
摘要：视觉语言模型如今经常接受心理理论测试：它们能否推断出另一个人看到、知道和意指什么。一种常见设计是要求模型报告该视角，然后为这个人采取行动，并将正确的报告与错误的行动并列视为未能利用该视角。这种解读基于一个隐含假设：要求报告不会改变行动。我们证明事实并非如此。在一个渲染的 Director Task 中，一块隔板将最大的积木挡住，不让一位要求“最大的积木”的 director 看到。先询问 director 能看到哪些积木，会使选择这块被隐藏积木的回复比例在六个 GPT 模型上提高 12 到 88 个百分点，在 Qwen3.8-27B 上提高 17 个百分点，尽管模型大多能正确报告 director 看到哪些积木。推理轨迹和提示词改写表明原因：该问题改变了请求被解读的方式，从 director 的视角转向模型自身的视角。当提示词说明 director 知道并指代什么时，不到 1% 的回复会将正确报告与选择隐藏积木配对。任何在评分行动之前引出视角报告的评估，都需要一个不含该问题的基线，我们提供了一个：仅在该问题上不同的配对提示词，任何视角采择基准都可以采用这一设计。
| 学科： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.29318 [cs.CL] |
| （或使用 arXiv:2610.29318v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.29318 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiaxuan Guo [查看邮箱]
[v1]
2026年10月21日星期三 07:21:08 UTC（6,705 KB）
来源：arXiv cs.CL · arxiv.org