arXiv cs.AI· Haoyang Jiang, Zhuotong Fan, Mingyang Yi, Ju Fan, Lanqing Hu, Xiao Zan·· 3 天前AI 评分26
MERIT：面向图像表格的多模态证据推理框架
MERIT: Multimodal Evidence Reasoning over Image Tables
AI 导读
MERIT 是一个面向表格图像的三阶段推理框架，将序列化表格作为可选辅助输入，通过表格专用编码器适配、监督微调和强化学习实现证据选择与推理。该框架用重构、定位和颜色条件监督适配编码器，并以证据正确性、计算、最终答案和输出格式分别设置奖励，针对最终答案监督无法区分的检索与计算错误提供中间步骤反馈。研究在表格问答和事实验证任务上评估了该方法，并分析了视觉输入与各训练组件的贡献及跨数据集泛化能力。
正文 · AI 翻译
摘要：使用语言模型进行表格推理通常假设可以访问干净的文本表格。在实践中，表格往往被序列化为文本，这可能会破坏单元格内容、扭曲结构关系并丢弃视觉线索，使模型只能在不完整的证据上进行推理。相比之下，表格图像保留了这些信息，但利用它需要准确感知以及基于相关单元格的推理。为解决这一问题，我们提出了 MERIT（Multimodal Evidence Reasoning over Image Tables），一个用于学习在表格图像上推理的三阶段框架，序列化表格作为可选的辅助输入（如果提供）。我们的分析将视觉证据获取确定为瓶颈，从而推动了通过重建、定位和颜色条件监督进行表格专用编码器适配。在适配后的表示基础上，监督微调使用经过验证的轨迹来教授显式证据选择和推理。最后，强化学习通过针对证据正确性、计算、最终答案和输出格式的独立奖励来优化策略。通过对中间步骤提供反馈，该框架针对仅靠最终答案监督无法区分的检索和计算错误。我们在表格问答和事实验证上评估了该方法，分析了视觉输入和训练组件的贡献，并评估了对具有不同表格结构和视觉呈现的其他数据集的泛化能力。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17937 [cs.CV] |
| （或使用 arXiv:2610.17937v1 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17937 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoyang Jiang [查看邮箱]
[v1]
2026年10月13日星期二 08:21:53 UTC（8,861 KB）
来源：arXiv cs.AI · arxiv.org