arXiv cs.AI· Daniel J. Evans, J. P. Naiman, JooYoung Seo, J. Stephen Downie·· 3 天前AI 评分22
LMM 能否"看懂"多面板科学图表？一个面向大语言模型图表分析的多面板视觉问答数据集
Do you "see" what I "see"? A Multi-panel Visual Question Answer Dataset for Large Language Model Chart Analysis
AI 导读
研究者构建了一个面向 LLM/LMM 图表分析的多面板视觉问答数据集，用合成但逼真的单面板与多面板科学图表，按四级描述模型设计从概念问答到解释性分析的 VQA 任务。测试发现，随着面板数量、图表元素数量和问题难度增加，LMM 准确率下降；分析还引入成本相对性能作为指标。问答对、随机图表生成代码及图表元素 bounding-box 元数据均已公开。
正文 · AI 翻译
摘要：数字图书馆越来越多地收录科学出版物，其中的图表编码了主要研究发现，然而使这些视觉内容可搜索、可访问和可复用仍然是一个未解决的挑战。大型语言和多模态模型（LLMs/LMMs）为自动化许多图表解析任务提供了可能，例如确定数据趋势或从图表中提取数据。在这项工作中，我们考虑当这些模型面对包含多个图表的合成但逼真的科学图表时，能否可靠地支持面向任务的视觉数据分析。我们的视觉问答（VQA）流程将任务沿着一个四级描述模型进行搭建，从基本概念性答案到解释性和分析性理解。此外，我们概述了合成生成单面板和多面板（即包含多个面板的图表）图表的过程，并使用定量分析以各种 LMM 测试数据。总体而言，我们发现随着图表复杂度增加——面板数量、绘图元素数量以及问题难度的增加——LMM 的准确性会降低。最后，由于 LMM 的准确性预计会迅速变化，我们的分析还考虑了相对于性能的成本，作为指导未来用户决策的指标。我们提供了本分析中使用的详细问答对，以及用于生成随机图表、问答对和图表元素详细边界框元数据的代码。代码和数据可在 此 https URL 和 此 https URL\_qa\_multipanel 获取
| 评论： | 16 页，4 幅图，已被第 30 届数字图书馆理论与实践国际会议（2026 年）接收 |
| 主题： | 数字图书馆（cs.DL）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.14173 [cs.DL] |
| （或 arXiv:2610.14173v1 [cs.DL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14173 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jill Naiman [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 18:00:02 UTC（272 KB）
来源：arXiv cs.AI · arxiv.org