arXiv cs.AI· Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu·· 11 小时前AI 评分32
O'Prior：合成任务分布如何决定表格基础模型质量
Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality
AI 导读
研究提出 O'Prior 合成先验，通过分层 SCM 元生成器、模块化真实感引擎、显式压力模块和课程化防泄漏生成协议四个组件构建表格基础模型的预训练分布。在固定架构、优化器和算力预算、仅改变合成任务分布的条件下，O'Prior 在真实表格基准上取得一致且显著的下游准确率与鲁棒性提升，增益集中在分布不规则的场景。消融实验显示机制多样性、真实感组合与偏移感知压力各自独立贡献，不可互相替代。
正文 · AI 翻译
摘要：是什么决定了表格基础模型的质量？与语言或视觉不同，表格基础模型的归纳偏置几乎完全来自合成预训练分布，然而这些分布的设计仍鲜为人知。标准的合成先验过于规整：它们忽略了决定部署鲁棒性的不规则性和失效模式。我们提出 O'Prior，一种围绕四个耦合组件构建的组合式真实感先验：一个跨越多种函数族的层次化 SCM 元生成器；一个涵盖异质边际分布、缺失值和目标变换的模块化真实感引擎；一个显式注入混杂与支持-查询不匹配的压力模块；以及一个由课程控制、防泄漏的生成协议。为了将先验设计孤立为科学变量，我们固定架构、优化器和计算预算，仅改变合成任务分布。O'Prior 在真实表格基准上带来一致且显著的下游准确率和鲁棒性提升，增益集中在以分布不规则性为特征的场景中。消融实验证实，机制多样性、真实感组合和感知偏移的压力各自独立贡献，其效果不可互换。这些结果确立了合成先验构建是表格基础模型质量的一阶且在很大程度上被忽视的决定因素。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.18971 [cs.LG] |
| （或本版本的 arXiv:2605.18971v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.18971 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohamed Bouadi [查看邮箱]
[v1]
2026年5月18日星期一 18:00:45 UTC（4,988 KB）
[v2]
2026年10月23日星期五 12:04:54 UTC（4,988 KB）
来源：arXiv cs.AI · arxiv.org