arXiv cs.AI· Irene Cannistraci, Julia E. Vogt·· 6 天前AI 评分26
研究发现表格基础模型（TFM）本质上是浅层模型
Tabular Foundation Models Are Effectively Shallow
AI 导读
研究者提出一种无标签的闭式仿射转换器，可替换表格基础模型（TFM）中最多 96% 的连续 Transformer 块，在 171 个分类数据集上评估 8 个前沿 TFM 后发现其严重过参数化。
正文 · AI 翻译
摘要：上下文学习表格基础模型（TFM）特别适合资源有限或隐私受限的场景，因为它们无需额外训练即可解决新任务。然而，其架构由多个 transformer 块组成，导致计算和内存开销很高。与此同时，梯度提升决策树（GBDT）等传统替代方案仍极具竞争力，并能在 CPU 上高效运行，这表明表格任务可能本质上并不需要深层架构。这一对比引出了一个根本性问题：能否在不牺牲性能的情况下，通过移除架构冗余来简化 TFM？为回答这一问题，我们引入了一种闭式、无标签的仿射转换器，它可替换最多 96% 的连续块窗口，其余部分保持不变。在 171 个分类数据集上评估八个前沿 TFM 后，我们发现表格 transformer 存在严重过参数化：在所有架构中，替换模型一半的块最多造成中位数 0.002 的 AUROC 损失，而半深度的 TabFM 仍优于所有其他全深度 TFM 和调优后的 GBDT。此外，不同模型家族以不同方式过参数化：TabPFN-3 依赖其编码器，无论保留哪一个单块都能保持性能。其他单轴模型将计算分散得很薄，仅需其第一个块，而双轴模型则将计算集中在一个关键块中。最终，移除深度最多可节省 1.5B 参数，将 GPU 推理速度提升最多 6 倍，中位数代价为 0.03 AUROC，而单块 TabPFN-3 以 6 倍更少的内存为缓存查询提供服务，速度快 2.4 倍，代价可忽略不计。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13253 [cs.LG] |
| （或 arXiv:2610.13253v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13253 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Irene Cannistraci Dr [查看电子邮件]
[v1]
2026年10月9日星期五 09:01:42 UTC（1,696 KB）
来源：arXiv cs.AI · arxiv.org