Amazon 发布表格基础模型 Mitra-v2，在 TabArena 单模型榜单领先

Amazon Science·2026-11-10 23:37· 1 小时前AI 评分53

Mitra-v2：扩展合成预训练以构建表格基础模型

AI 导读

Amazon 发布第二代表格基础模型 Mitra-v2，支持分类和回归，完全基于合成表格预训练，分类和回归微调版本及推理与微调代码已以 Apache-2.0 许可开源在 Hugging Face。

正文 · 原文

企业运行所依赖的许多数据都存放在表格中：行可能代表客户、交易或交互，而它们的“属性”则列在列中。预测缺失的属性——例如客户留存的可能性或下周预计的需求量——是工业界最常见的机器学习任务之一。用于这项工作的标准工具，例如梯度提升决策树，会生成针对特定表格定制的模型。每张新表都意味着要选择算法、进行特征工程、调优超参数并搭建处理流水线。表格基础模型有望终结这一循环：一个预训练模型读取一张此前未见过的表格中带标签的行，并预测其余部分，中间无需任何训练过程。去年我们推出了 Mitra，一个完全在合成表格上预训练的表格基础模型。它在小型和中型表格上表现良好，但在大型表格、宽表格以及多类别问题上则力有不逮。今天我们推出 Mitra-v2，该模型的第二代，同时支持分类和回归。我们在一份技术报告中对其进行了描述，并且我们已在 Hugging Face 上以 Apache-2.0 许可证发布了针对分类和回归微调的版本，以及推理和微调代码。Amazon Connect Customer 主导了这项工作，它为核心业务功能提供智能体 AI 系统。Amazon Connect Customer 正在采用 Mitra-v2 对结构化业务和客户体验数据进行预测，例如根据客户的交互历史和运营背景，估计某个业务相关事件发生的可能性。在 TabArena 这一包含 51 个真实世界数据集的公开基准上，Mitra-v2 在单模型领域领先。在两个模型均原生运行的 33 个数据集中，它在 32 个上取得了比 Mitra-v1 更好的结果，并且在基准的一小时预算内完成了全部 51 个数据集，而 Mitra-v1 在其中超过三分之一的数据集上未能做到。在 ScoringBench 这一用于预测一系列可能结果而非单一数值的回归模型的公开基准上，微调后的 Mitra-v2 排名第一。大型语言模型在海量数据上预训练，因此当你在提示中给它几个示例时，它无需额外训练就能从中泛化。表格基础模型的工作方式相同。我们在数百万个合成预测问题上预训练 Mitra-v2，在部署时，真实表格中带标签的行充当示例。模型读取它们并预测未标记的行，这种技术称为上下文学习。每个预训练表格都是合成的：我们不使用任何真实数据，尤其不使用客户数据。模型学习的是关于列与列之间如何关联的一般原理，而非任何真实数据集的内容。原始 Mitra 的经验是，这些合成表格的质量和多样性对模型的泛化能力至关重要。Mitra-v2 将这一经验进一步推进。架构保持不变：一个 Transformer，同时关注表格的行和列。改变的是模型在预训练期间所见示例的规模。Mitra-v2 预训练所用表格的行数是训练 Mitra-v1 所用表格的 10 倍，列数约为 3 倍，因此它见过的表格规模与企业实际使用的表格相当。我们还新增了一个合成表格系列。为了训练原始 Mitra，我们从结构因果模型（SCM）——即列之间因果关系的图——以及数据科学家在实践中拟合的基于树的模型生成表格。Mitra-v2 新的混合 SCM 先验构建了一个单一的因果图，其中每个关系可以是小型神经网络、决策树、从高斯过程抽取的平滑函数，或时间相关的自回归过程，因此一张合成表格可以承载真实表格中发现的混合关系。新的混合优化器在这种更广泛的范围内保持训练稳定。在部署时，两个轻量级封装将模型扩展到其预训练限制之外。对于非常宽的表格，我们使用奇异值分解生成一张适合分配空间的新表，其中填充的合成值捕获了原始数据的大部分方差。Mitra-v2 的输出层只有 10 个节点，对应 10 个类别，因此对于类别数多于此的任务，我们将每个节点的输出送入一个层次树，进一步细化分类。默认情况下，Mitra-v2 会在其看到的每张新表上进行简短的自动微调，生成八个副本并对其预测取平均，这是一种称为 bagging 的标准技术。因此它并不完全是零样本模型。这种适配增加了一些计算开销，但作为回报，它提供了更高的准确率并给客户提供了额外选项。我们在 TabArena 上评估了 Mitra-v2，这是一个由独立学术团队维护的持续更新的基准。TabArena 按 Elo 对方法排名，这是国际象棋中使用的评分系统，此处根据固定一小时预算下各数据集上的两两胜负计算得出。如下所示，Mitra-v2 在单模型领域领先，在分类和回归上均较 Mitra-v1 有大幅提升。它还在约 300 个数据集的独立 TALENT 基准上位列领先方法之列，在类别数超过 10 的分类任务上表现最强。完整结果，包括逐数据集比较，见技术报告。对于回归，Mitra-v2 为每一行预测完整范围的可能值而非单一数值，因此用户在获得点估计的同时还能获得预测区间。这正是 ScoringBench 所评估的方法，它奖励既准确又校准良好的预测。在 ScoringBench 排行榜上，微调后的 Mitra-v2 再次排名第一。Mitra-v2 表明，表格基础模型可以通过拓宽其合成预训练的多样性和范围来取得实质性提升，而无需更深的网络。我们预计更丰富的合成先验和自适应混合将进一步推动这一进展。微调后的分类和回归模型及代码已在 Hugging Face 上开放并可供使用，我们邀请研究人员和从业者在自己的表格上试用 Mitra-v2。了解更多 Mitra-v2 分类器 Mitra-v2 回归器 推理和微调代码 Mitra-v2 技术报告 致谢 Yefan Tao、Raja Ghanta、Xiyuan Zhang、Xinyi Liu、Boran Han、Danielle Maddix Robinson、Haoyang Fang、Zhen Han、Jiading Gai、Xuanqing Liu、Michael Bohlke-Schneider、Bernie Wang、Gerald Friedland、Kevan Mah、Chris Lee

来源：Amazon Science · amazon.science