arXiv cs.AI· Jonas Landsgesell, Pascal Knoll, Tizian Wenzel·· 3 天前AI 评分22
ScoringBench：用恰当评分规则评估表格基础模型的基准
ScoringBench: A Benchmark for Evaluating Tabular Foundation Models with Proper Scoring Rules
AI 导读
研究者推出 ScoringBench，一个开放可扩展的基准，用（加权）CRPS、能量分数和区间分数等恰当评分规则评估表格回归模型，覆盖 101 个数据集，并提供基于 git 的排行榜和两种排名协议。对 TabPFN、TabICL、ExaOneTabular、Nori 等表格基础模型、梯度提升树和 MLP 的评估显示，模型排名会随评分规则变化，点估计指标表现好的模型在概率指标上可能排名更低。
正文 · AI 翻译
摘要：TabPFN、TabICL、ExaOneTabular 和 Nori 等表格基础模型已经能够生成完整的预测分布，然而主流的回归基准几乎只通过 RMSE 等点估计指标来评估它们。这忽视了这些模型旨在提供的分布信息。我们提出 ScoringBench，一个开放且可扩展的基准，在标准点指标之外，采用一整套 proper scoring rules（包括（加权）CRPS、能量分数和区间分数）来评估表格回归模型。ScoringBench 涵盖来自不同领域的 101 个回归数据集，通过基于 git 的排行榜支持透明的社区贡献，并提供两种互补的排名协议：序数 Demsar/autorank 方法和保持量级的 $z$-score 排名方法。我们对多种模型类型（包括（微调后的）表格基础模型、梯度提升树和 MLP）的评估表明，模型排名会随所选评分规则而变化。在点估计指标上表现良好的模型，在概率指标上可能排名较低。这些发现表明，评估指标的选择是一项核心建模决策，对于某些类型错误后果更严重的应用而言，也是一项领域特定需求。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2603.29928 [cs.AI] |
| （或 arXiv:2603.29928v4 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2603.29928 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jonas Landsgesell [查看电子邮件]
[v1]
2026 年 3 月 31 日星期二 16:01:56 UTC（667 KB）
[v2]
2026 年 4 月 27 日星期一 17:23:20 UTC（1,757 KB）
[v3]
2026 年 5 月 4 日星期一 14:43:11 UTC（1,920 KB）
[v4]
2026 年 10 月 12 日星期一 08:36:09 UTC（2,724 KB）
来源：arXiv cs.AI · arxiv.org