arXiv cs.CL· Alan Arazi, Eilam Shapira, Shoham Grunblat, Mor Ventura, Elad Hoffer, Gioia Blayer, David Holzm\"uller, Lennart Purucker, Ga\"el Varoquaux, Frank Hutter, Roi Reichart·· 11 小时前AI 评分32
MulTaBench：面向文本与图像的多模态表格学习基准发布
MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image
AI 导读
研究者推出 MulTaBench，一个包含 40 个数据集的基准，图像-表格与文本-表格任务各占一半，聚焦模态间提供互补预测信号的场景。实验显示，按任务调优嵌入向量（目标感知表示）带来的性能提升可跨文本与图像模态、多种表格学习器、编码器规模和嵌入维度泛化。该基准是迄今规模最大的图像-表格评测工作，覆盖医疗与电商等高影响力领域，已被 NeurIPS 2026 接收为 Spotlight。
正文 · AI 翻译
作者：Alan Arazi、Eilam Shapira、Shoham Grunblat、Mor Ventura、Elad Hoffer、Gioia Blayer、David Holzmüller、Lennart Purucker、Gaël Varoquaux、Frank Hutter、Roi Reichart
摘要：表格基础模型（Tabular Foundation Models）近期通过利用预训练来学习数值与类别结构化数据的可泛化表示，在监督式表格学习领域确立了最先进水平。然而，它们缺乏对文本和图像等非结构化模态的原生支持，只能依赖冻结的预训练嵌入来处理这些模态。在既有的多模态表格学习基准上，我们表明针对任务微调嵌入可以提升性能。然而，现有基准往往只关注模态的简单共现；这导致不同数据集之间方差较大，并掩盖了任务特定微调带来的收益。为弥补这一空白，我们提出了 MulTaBench，这是一个包含 40 个数据集的基准，在图像-表格任务与文本-表格任务之间平均分配。我们聚焦于各模态提供互补预测信号的预测任务，在这些任务中通用嵌入会丢失关键信息，因而需要与任务对齐的目标感知表示（Target-Aware Representations）。我们的实验结果表明，目标感知表示微调带来的收益可泛化到文本与图像两种模态、多种表格学习器、编码器规模以及嵌入维度。MulTaBench 是迄今为止规模最大的图像-表格基准评测工作，涵盖医疗健康和电子商务等高影响力领域。它旨在支持对融合联合建模与目标感知表示的新型架构的研究，为开发新型多模态表格基础模型铺平道路。
| 评论： | 已被 NeurIPS 2026 接收（Spotlight） |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用格式： | arXiv:2605.10616 [cs.LG] |
| （或本版本使用 arXiv:2605.10616v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.10616 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alan Arazi [查看邮箱]
[v1]
2026 年 5 月 11 日星期一 14:12:05 UTC（3,490 KB）
[v2]
2026 年 9 月 27 日星期日 19:05:57 UTC（3,514 KB）
[v3]
2026 年 10 月 30 日星期五 20:45:53 UTC（3,523 KB）
来源：arXiv cs.CL · arxiv.org