跳到正文
arXiv cs.AI· Zhihang Yi, Jian Zhao, Jiancheng Lv, Tao Wang·· 10 小时前AI 评分20

多模态信息融合驱动的图表理解:MLLMs 综述——演进、局限与认知增强

Multimodal Information Fusion for Chart Understanding: A Survey of MLLMs -- Evolution, Limitations, and Cognitive Enhancement

AI 导读

一篇综述系统梳理了 MLLMs 在图表理解这一多模态信息融合任务上的研究进展,提出将评测基准划分为 canonical 与 non-canonical 的新分类法,并沿经典深度学习到前沿 MLLM 融合策略的路径追踪方法演进。文章重点剖析当前模型在感知与推理上的缺陷,指出先进对齐技术与强化学习是实现认知增强的潜在方向。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:图表理解是一项典型的信息融合任务,需要将图形与文本数据无缝整合以提取含义。多模态大语言模型(MLLMs)的出现彻底改变了这一领域,然而基于 MLLM 的图表分析领域仍呈碎片化状态,缺乏系统性组织。本综述通过梳理该领域的核心组成部分,为这一新兴前沿提供了全面的路线图。我们首先分析图表中融合视觉与语言信息所面临的基本挑战。随后,我们对下游任务与数据集进行分类,提出一种新颖的分类体系,将基准划分为规范型与非规范型,以凸显该领域不断扩展的范围。接着,我们全面呈现方法论的演进,追溯从经典深度学习技术到利用复杂融合策略的最先进 MLLM 范式的进展。通过批判性地审视当前模型的局限,尤其是其在感知与推理方面的缺陷,我们指出了有前景的未来方向,包括先进的对齐技术以及用于认知增强的强化学习。本综述旨在帮助研究人员与实践者结构化地理解 MLLM 如何变革图表信息融合,并推动构建更稳健、更可靠的系统。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2602.10138 [cs.CV]
  (或 arXiv:2602.10138v2 [cs.CV] 为本版本)
  https://doi.org/10.48550/arXiv.2602.10138

由 DataCite 颁发的 arXiv DOI

期刊 参考: Information Fusion 138 (2027) 104700
相关 DOI: https://doi.org/10.1016/j.inffus.2026.104700

链接到相关资源的 DOI

提交历史

来自:Zhihang Yi [查看邮箱]
[v1] 2026年2月8日星期日 12:59:50 UTC(28,457 KB)
[v2] 2026年11月18日星期三 06:57:32 UTC(26,693 KB)

来源:arXiv cs.AI · arxiv.org