arXiv cs.CL· Arnav Verma, Kushin Mukherjee, Christopher Potts, Elisa Kreiss, Judith E. Fan·· 12 小时前AI 评分31
以人为中心评估视觉语言模型对数据可视化的理解能力
Human-centered evaluation of data visualization understanding in vision-language models
AI 导读
研究者提出一套以人为中心的评估协议，在相同可视化理解题目上直接对比视觉语言模型与人类的作答模式。该协议应用于 8 个视觉语言模型和 6 项测评（含 5 项人类可视化素养测试和 1 项专为模型设计的测试），模型平均表现低于人类，即使放宽标准差距依然存在。模型与人类在题目相对表现上有所相关，但所有模型的错误模式都与人类可靠地不同。
正文 · AI 翻译
摘要：数据可视化理解需要整合视觉、数值和语言输入，对多模态推理构成根本性挑战。近期开发的视觉语言模型（VLM）有望成为建模人类数据可视化理解背后计算过程的候选模型。然而，它们能否作为有用的科学模型，不仅取决于它们是否给出正确答案，还取决于它们是否近似人类在相同任务上产生的反应模式。这一区别在近期的 VLM 评估中被忽视，这些评估通常只报告模型的整体性能（准确率），而不直接与人类行为模式进行比较。在此，我们提出一种以人为中心的评估协议，在相同的一组可视化理解题目上比较 VLM 与人类的反应。我们将该协议应用于八个 VLM，涵盖六项评估：五项成熟的人类可视化素养测试，以及一项专为评估 VLM 而设计的测试。模型平均表现不如人类，且即使采用宽松标准，这一差距依然存在。此外，尽管模型与人类在各题目上的相对表现有一定相关性，但所有模型产生的错误模式都与人类存在可靠差异。我们期望该评估协议有助于识别那些可能成为人类如何推理数据可视化这一问题的有前景的科学认知模型的人工系统。
| 主题： | 人机交互（cs.HC）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2505.17202 [cs.HC] |
| （或 arXiv:2505.17202v2 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.17202 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Scientific Reports (2026) |
| 相关 DOI： | https://doi.org/10.1038/s41598-026-68119-z
链接到相关资源的 DOI |
提交历史
来自：Arnav Verma [查看电子邮件]
[v1]
2025年5月22日星期四 18:15:04 UTC（9,881 KB）
[v2]
2026年10月20日星期二 18:55:19 UTC（6,301 KB）
来源：arXiv cs.CL · arxiv.org