arXiv cs.CL· Eilam Shapira, Alan Arazi, Shoham Grunblat, Roi Reichart·· 2 天前AI 评分31
LightTAR:面向多模态表格学习的轻量快速目标感知表示方法
LightTAR: Light and Fast Target-Aware Representations for Multimodal Tabular Learning
AI 导读
LightTAR 是一种轻量低成本方法,用正则化偏最小二乘(PLS)从编码器最终层和中间层联合提取少量目标感知特征,增强标准 PCA 表示。在 21 个表格模型(含树集成、神经网络和表格基础模型)上评估,LightTAR 提升了所有模型的平均预测性能,在 MulTaBench 几乎每个数据集上均有改善,总运行时间仅小幅增加。该方法可直接集成到现有编码流程,无需修改编码器或学习器。
正文 · AI 翻译
摘要:多模态表格学习涉及对结合了结构化数值与类别特征以及非结构化文本和图像的表格进行分类和回归。这些非结构化字段通常由预训练编码器嵌入表示,并通过主成分分析(PCA)进行降维。这种降维优先考虑输入方差,但可能忽略与预测目标相关的信息。我们提出 LightTAR,一种简单、低成本的方法,使降维适应预测任务。LightTAR 使用正则化偏最小二乘法(PLS)从最终编码器层和一个中间编码器层联合提取少量目标感知特征,以增强标准 PCA 表示。我们使用 21 种表格模型评估 LightTAR,包括树集成、神经网络和表格基础模型。LightTAR 提高了所有模型的平均预测性能,并且在模型平均意义上,几乎在每一个 MulTaBench 数据集上都改善了预测。相对于 PCA 表示,这些收益仅带来总运行时间的小幅增加。LightTAR 可直接集成到现有编码流程中,无需修改编码器或学习器即可提高表格学习器的预测性能。
| 评论: | 21 页,3 幅图。代码:此 https URL |
| 主题: | 机器学习(cs.LG);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.17600 [cs.LG] |
| (或 arXiv:2611.17600v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.17600 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Eilam Shapira [查看电子邮件]
[v1]
2026年11月12日星期四 23:45:58 UTC(161 KB)
来源:arXiv cs.CL · arxiv.org