跳到正文
arXiv cs.AI· Guijia Zhang, Hongbo Qiu, Jiajun Zha, Guohao Cai, Hao Zheng, Huihao Jing, Kexu Cheng, Shipeng Luo, JinYang Huang, Shing-Chi Cheung, Changsheng Lu, Haoxuan Che, Harry Yang·· 10 小时前AI 评分31

当图表与文字不符:评估科学论文中的自主视觉证据验证

When Figures Disagree with Text: Evaluating Autonomous Visual Evidence Verification in Scientific Papers

AI 导读

研究在31篇完整论文上测试多模态模型能否自主发现图表与文字的矛盾,这些论文均含PRISMM-Bench中隐藏的图表-文字不一致。1445条开放式评审中60.6%提及问题图表,但仅3.3%被评分标准认定为诊断出矛盾;单独点名图表可将认定率从4.3%提升至20.4%,而一致性指令和粗粒度视觉提示无效。

正文 · AI 翻译

作者:Guijia Zhang、Hongbo Qiu、Jiajun Zha、Guohao Cai、Hao Zheng、Huihao Jing、Kexu Cheng、Shipeng Luo、JinYang Huang、Shing-Chi Cheung、Changsheng Lu、Haoxuan Che、Harry Yang

查看 PDF HTML(实验性)

摘要:科学图表为其所支撑的论断提供证据,因此审阅一篇论文意味着要检查图表是否与正文一致,而不仅仅是描述图表展示了什么。图表-文本验证类基准通常会把图表、论断或“存在不一致”这一知识直接交给模型,这就无法检验模型能否在一篇完整论文中找到值得检查的图表、把某个视觉元素与其相冲突的论断关联起来,并识别出这一冲突。我们在 31 篇完整稿件上研究这一自主设定,每篇稿件都带有一处由审稿人记录的图表-文本不一致(来自 PRISMM-Bench),且对模型隐藏。六个多模态模型在中性提示下审阅每份 PDF,随后我们向同一批稿件逐一添加输入。在 1,445 条开放式审阅意见中,60.6% 提到了有缺陷的图表,但评分标准仅接受 3.3% 为诊断出了其矛盾;盲审发现该评分标准偏宽松,因此我们将其视为评分标准接受率,并比较不同条件而非绝对值。在一项单独的对照运行中,点名该图表(但不说明其有缺陷)使评分标准接受的诊断率从 4.3% 提升到 20.4%,而一致性指令和粗粒度视觉线索则没有效果。当矛盾仅在渲染后的图表中可见时,纯文本审阅没有产生任何被接受的诊断,而对点名了该图表的渲染页面进行审阅则达到 15.8%。一个让模型按中心性排序自行选择要检查哪些图表的基线方法停留在 4.8%。因此,决定要验证什么在很大程度上构成了难点,而我们测试的选择规则并未解决它。多模态文档理解应评估模型能否提出要验证什么,而不仅仅是回答关于交给它的图表的问题。
评论: 28 页,5 幅图,14 张表
主题: 人工智能(cs.AI)
引用为: arXiv:2611.24353 [cs.AI]
  (或 arXiv:2611.24353v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24353

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hongbo Qiu [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 12:47:35 UTC(1,468 KB)

来源:arXiv cs.AI · arxiv.org