arXiv cs.AI· Zhihang Yi, Jian Zhao, Jiancheng Lv, Tao Wang·· 10 小时前AI 评分20
多模态信息融合驱动的图表理解:MLLMs 综述——演进、局限与认知增强
Multimodal Information Fusion for Chart Understanding: A Survey of MLLMs -- Evolution, Limitations, and Cognitive Enhancement
AI 导读
一篇综述系统梳理了 MLLMs 在图表理解这一多模态信息融合任务上的研究进展,提出将评测基准划分为 canonical 与 non-canonical 的新分类法,并沿经典深度学习到前沿 MLLM 融合策略的路径追踪方法演进。文章重点剖析当前模型在感知与推理上的缺陷,指出先进对齐技术与强化学习是实现认知增强的潜在方向。
正文 · AI 翻译
摘要:图表理解是一项典型的信息融合任务,需要将图形与文本数据无缝整合以提取含义。多模态大语言模型(MLLMs)的出现彻底改变了这一领域,然而基于 MLLM 的图表分析领域仍呈碎片化状态,缺乏系统性组织。本综述通过梳理该领域的核心组成部分,为这一新兴前沿提供了全面的路线图。我们首先分析图表中融合视觉与语言信息所面临的基本挑战。随后,我们对下游任务与数据集进行分类,提出一种新颖的分类体系,将基准划分为规范型与非规范型,以凸显该领域不断扩展的范围。接着,我们全面呈现方法论的演进,追溯从经典深度学习技术到利用复杂融合策略的最先进 MLLM 范式的进展。通过批判性地审视当前模型的局限,尤其是其在感知与推理方面的缺陷,我们指出了有前景的未来方向,包括先进的对齐技术以及用于认知增强的强化学习。本综述旨在帮助研究人员与实践者结构化地理解 MLLM 如何变革图表信息融合,并推动构建更稳健、更可靠的系统。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2602.10138 [cs.CV] |
| (或 arXiv:2602.10138v2 [cs.CV] 为本版本) | |
| https://doi.org/10.48550/arXiv.2602.10138 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | Information Fusion 138 (2027) 104700 |
| 相关 DOI: | https://doi.org/10.1016/j.inffus.2026.104700
链接到相关资源的 DOI |
提交历史
来自:Zhihang Yi [查看邮箱]
[v1]
2026年2月8日星期日 12:59:50 UTC(28,457 KB)
[v2]
2026年11月18日星期三 06:57:32 UTC(26,693 KB)
来源:arXiv cs.AI · arxiv.org