arXiv cs.AI· Jiawei Chen·· 13 小时前AI 评分42
研究：文本人设难让视觉语言模型像所描述的人那样“看”
Telling Is Not Seeing: Textual Personas Rarely Make Vision-Language Models Answer Like the People They Describe
AI 导读
研究对比了视觉语言模型在文本人设下的回答与低视力、色盲或听障人群的实际测量结果，发现人设从未优于仅使用人设所述事实的简单规则，还抹平了群体与个体间的真实差异。在测试的全部 14 个模型中，描述“模糊”均未改变识别表现，而实际模糊照片会像对人一样降低识别率。模型能估计模糊和错觉对人的影响，却无法在回答中体现这些效果。
正文 · AI 翻译
摘要：视觉语言模型（VLM）越来越多地被赋予人格设定（例如“你视力低下”）来替代用户研究中的真实人群。我们追问：人格设定能否让模型像它所描述的人那样“看”世界？我们将人格设定的回答与实测的低视力、色盲或听力损失人群进行比较，也与仅使用人格设定所陈述事实的简单规则进行比较。人格设定从未胜过这些规则，并且抹去了群体与个体之间的真实差异。描述模糊在所有 14 个测试模型中均未改变识别结果，而将照片模糊化则会像对人一样降低识别率。在开源模型内部，描述既未改变图像信息，也未改变答案概率。然而，模型知道它们未能展现的效果：它们能够估计模糊和错觉如何影响人。告知不等于看见：人格设定让模型说出它所知道的人的情况，而非看见人所看见的。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39331 [cs.CV] |
| （或 arXiv:2610.39331v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39331 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiawei Chen [查看邮箱]
[v1]
2026年10月29日 星期四 04:26:29 UTC（299 KB）
来源：arXiv cs.AI · arxiv.org