arXiv cs.CL· Zheyuan Yang, Liqiang Shang, Junjie Chen, Xun Yang, Chenglong Xu, Bo Yuan, Chenyuan Jiao, Yaoru Sun, Yilun Zhao·· 9 小时前AI 评分31
TableVista:多模态表格推理在视觉与结构复杂度下的基准测试
TableVista: Benchmarking Multimodal Table Reasoning under Visual and Structural Complexity
AI 导读
TableVista 是一个评估基础模型多模态表格推理能力的基准,包含 3,000 道表格推理题,每题经多风格渲染与变换扩展为 10 个视觉变体,共 30,000 个多模态样本。研究团队在 TableVista 上评测了 29 个开源与闭源前沿模型,发现模型在不同渲染风格下表现基本稳定,但在复杂结构布局和纯视觉设置下性能明显下降。
正文 · AI 翻译
摘要:我们推出 TableVista,这是一个用于评估基础模型在视觉与结构复杂性下进行多模态表格推理的综合基准。TableVista 包含 3,000 个高质量表格推理问题,其中每个实例都通过我们的多风格渲染与转换流水线扩展为 10 个不同的视觉变体。该过程涵盖多样化的场景风格、鲁棒性扰动以及纯视觉配置,最终形成 30,000 个多模态样本,用于多维度评估。我们在 TableVista 上对 29 个最先进的开源与专有基础模型进行了广泛评估。通过全面的定量与定性分析,我们发现,尽管所评估的模型在不同渲染风格下基本保持稳定,但它们在复杂结构布局和纯视觉设置下表现出明显的性能下降,这表明当前模型在结构复杂性与视觉整合呈现相结合时难以保持推理一致性。这些发现凸显了当前多模态能力中的关键差距,为推进更稳健、更可靠的表格理解模型提供了洞见。
| 评论: | ACL 2026 Findings |
| 主题: | 计算与语言(cs.CL);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2605.05955 [cs.CL] |
| (或 arXiv:2605.05955v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.05955 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zheyuan Yang [查看电子邮件]
[v1]
2026年5月7日星期四 10:03:25 UTC(1,631 KB)
[v2]
2026年11月17日星期二 12:16:26 UTC(8,961 KB)
来源:arXiv cs.CL · arxiv.org