跳到正文
arXiv cs.AI· Johannes Hog, Neeratyoy Mallik, Steven Adriaensen, Jan Hendrik Metzen, Tom Viering, Danny Stoll, Frank Hutter·· 10 小时前AI 评分34

面向表格基础模型的可靠缩放定律研究

Towards Reliable Scaling Laws for Tabular Foundation Models

AI 导读

研究检验了 TabPFNv2 类表格基础模型的缩放定律能否可靠外推到更大算力预算并泛化到不同评测设置。分析发现合成数据与真实数据上的缩放行为存在差异,拟合良好的缩放定律未必能在未见数据集上给出可靠配置建议,评测数据集过少会系统性高估性能。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:缩放定律被广泛用于预测基础模型性能并指导算力分配。然而,表格基础模型(TFM)与传统基础模型的不同之处在于,它们是在来自可配置分布的几乎无限的合成数据上预训练的,而最终却在真实世界数据集上进行评估。我们研究了 TabPFNv2 风格模型的缩放定律是否能可靠地外推到更大的算力预算,并在不同评估设置下泛化。我们的分析揭示了合成数据与真实世界缩放行为之间的差异,并表明准确拟合缩放定律并不一定能对未见数据集给出可靠的指导。特别是,使用过少的评估数据集来选择配置会导致系统性地过于乐观的性能估计。我们进一步证明,算力最优缩放需要在扩大模型规模和训练算力的同时,扩大合成预训练数据集规模的取值范围。增加预训练期间采样的最大行数和特征数可以提高性能,并产生更可预测的缩放趋势。这些见解利用 nanoTabPFN 的开源训练流程,指导训练更高效的 TabPFNv2 风格模型。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.24214 [cs.LG]
  (或 arXiv:2611.24214v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24214

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Johannes Hog [查看电子邮件]
[v1] 2026年11月18日星期三 10:52:48 UTC(499 KB)

来源:arXiv cs.AI · arxiv.org