跳到正文
arXiv cs.CL· Teng Lin, Nan Tang·· 9 小时前AI 评分31

MM-ReportBench:面向表格多模态报告生成的综合基准

MM-ReportBench: A Comprehensive Benchmark for Multimodal Report Generation from Tables

AI 导读

MM-ReportBench 是覆盖 185 张真实表格、386 个任务的多模态报告生成评测基准,每项任务配有人工校验的参考报告。其双评审框架显示,20 个 SOTA 模型中最高分仅 68.9,38.5% 的报告存在数值幻觉,真正新颖的洞察稀少。消融实验表明单评审打分比双评审高 8-12 分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:从表格数据生成融合流畅叙述与忠实可视化的多模态报告,已成为现代视觉语言模型在金融、医疗和政策制定等实际领域中的一项基石能力。然而,现有基准受限于单一模态聚焦、指标过于简单、新颖性评估以及可视化质量。我们通过 MM-ReportBench 解决这些局限,这是一个多模态报告评估基准,涵盖 185 个真实表格中的 386 项任务。每项任务都配有一份由专家整理的参考报告,具有标准化的章节结构和可验证的关键洞察点,通过基于蒙特卡洛树搜索的多模态报告生成混合流程与严格的人工质量控制构建而成。为实现稳健评估,我们设计了一个双评审评估框架:文本评审模型从结构完整性、基于源表格数值事实核查的接地洞察验证,以及区分真正分析发现与简单改述的新颖性分析等方面评估文本质量;可视化评审模型从数据保真度、表现力、美学和技术正确性等方面评估生成的可视化。它们还评估跨模态一致性。对 20 个最先进模型的大量实验揭示了关键弱点:即使最强的模型也仅获得 68.9 的总分,数值幻觉影响 38.5% 的报告,真正新颖的洞察仍然罕见。我们的消融研究进一步表明,与双评审评估相比,单评审评估始终将分数虚高 8-12 分,这证实了严格可靠的基准测试需要多层面、互补的评估探针。
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.22514 [cs.CL]
  (或 arXiv:2611.22514v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22514

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Teng Lin [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 10:06:56 UTC(3,713 KB)

来源:arXiv cs.CL · arxiv.org