跳到正文
arXiv cs.AI· Wei Pang, Xiangru Jian, Hehan Li, Zhixuan Yu, Alex Xue, Jinyang Li, Zhengyuan Dong, Xinjian Zhao, Hao Xu, Chao Zhang, Reynold Cheng, M. Tamer \"Ozsu, Tianshu Yu·· 1 天前AI 评分32

TRL-Bench:表格编码器跨范式表示级评估基准

TRL-Bench: Standardizing Cross-Paradigm Representation-Level Evaluation of Tabular Encoders

AI 导读

TRL-Bench 是一个多粒度表格表示学习基准,通过统一封装导出 row、column、table 嵌入并用共享轻量头探测,实现跨范式表示级评估。基准包含 50 个 OpenML 表格与 123 个验证目标、16 个行对连接改写,以及由 1,379 个父表派生的 47,772 表 DLTE 数据湖,覆盖 20 个模型和 16 项任务。

正文 · AI 翻译

作者:Wei Pang、Xiangru Jian、Hehan Li、Zhixuan Yu、Alex Xue、Jinyang Li、Zhengyuan Dong、Xinjian Zhao、Hao Xu、Chao Zhang、Reynold Cheng、M. Tamer Özsu、Tianshu Yu

查看 PDF HTML(实验性)

摘要:表格编码器通常在任务特定的端到端流水线中进行评估,因此即使不同训练范式的模型处理相似的表格信号,也难以直接比较。我们提出 TRL-Bench,这是一个多粒度表格表示学习(TRL)基准,用于标准化跨范式的表示级评估:每个编码器通过其支持的封装器导出行、列或表嵌入,共享的轻量级头部在三个套件上探测这些嵌入:TRL-CTbench(列/表)、TRL-Rbench(行)和 TRL-DLTE(组合式数据湖表增强,涵盖全部三种粒度)。为支持这一标准化设置,我们发布了精选的基准资产和任务重构,包括 50 个 OpenML 表及 123 个已验证目标、16 个行对链接重写,以及由 1,379 个父表衍生的包含 47,772 个表的 DLTE 数据湖。在 20 个模型和 16 个任务上,TRL-Bench 表明,一旦下游条件标准化,编码器质量是能力特定的,而非由单一排行榜所体现。在 TRL-CTbench 中,通用文本编码器通常在具有强表面文本信号的任务上领先,而表格专家在其预训练目标与任务对齐时胜出。在 TRL-Rbench 中,表内预测和跨表链接倾向于不同的训练范式,原子链接性能与 DLTE 流水线的行匹配阶段强相关。在 TRL-DLTE 中,最强的流水线组合了能力匹配的专家,而非复用单一编码器,顶级端到端质量取决于非可加的组合拟合,而非仅各阶段的边际排名。TRL-Bench 提供了一个通用协议,用于在共享下游条件下测量导出的表格表示中的可复用信号。代码:此 https URL 数据已在 Hugging Face 上发布。
学科: 人工智能(cs.AI);数据库(cs.DB)
引用为: arXiv:2606.09323 [cs.AI]
  (或 arXiv:2606.09323v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2606.09323

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Wei Pang [查看电子邮件]
[v1] 2026年6月8日星期一 10:39:25 UTC(1,573 KB)
[v2] 2026年11月11日星期三 13:11:02 UTC(2,477 KB)

来源:arXiv cs.AI · arxiv.org