arXiv cs.AI· Eug\`ene Berta, David Holzm\"uller, Francis Bach, Michael I. Jordan·· 2 天前AI 评分31
CalArena：大规模事后校准基准发布
CalArena: A Large-Scale Post-Hoc Calibration Benchmark
AI 导读
CalArena 是一个覆盖近 2000 次实验的事后校准标准化基准，涵盖表格与计算机视觉任务及二分类、多分类和大规模分类场景。该基准统一实现了数十种校准方法，并提出用 proper scoring rules 上的 Post-Hoc Improvement（PHI）替代传统校准误差指标来比较方法效果。研究发现平滑校准函数优于分箱方法，高维场景需专用多分类方法，相关数据、代码与评测工具已开源。
正文 · AI 翻译
摘要：可靠的概率估计在许多机器学习应用中至关重要，然而现代分类器往往校准不佳。事后校准提供了一种简单且广泛使用的解决方案，但所提出的方法数量众多，加之评估规模小且不一致，使得难以确定哪些方法在实践中真正有效。我们推出了一个大规模、标准化的事后校准基准，涵盖表格和计算机视觉任务中近 2000 个实验，包括二分类、多分类和大规模分类设置。我们的基准汇总了来自多种经典模型、现代深度学习架构和基础模型的预测，并在统一的评估框架内为数十种校准方法提供了统一、可复现的实现。我们认为，在适当评分规则下的 Post-Hoc Improvement（PHI）为比较事后方法提供了一种有原则的替代方案，可取代传统的校准误差估计器，它同时捕捉校准质量和模型预测性能的潜在退化。使用该框架，我们开展了迄今为止最全面的事后校准实证研究。我们的结果揭示了跨领域的一致模式：平滑校准函数优于基于分箱的方法，专用多分类方法在高维设置中必不可少，而通用机器学习模型若无针对校准的专门设计则不具备竞争力。为促进未来研究，我们发布了所有数据、代码和评估工具，为开发和比较校准方法提供了一个即插即用的基准。
| Comments： | 已被 NeurIPS 2026 的 Evaluations & Datasets track 接收。Camera-ready 版本包含一项关于使用对数概率而非 logits 的新消融研究，以及一种新的多分类事后校准方法：对 logits 进行 Platt scaling（一对多） |
| Subjects： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.30188 [cs.LG] |
| （或本版本使用 arXiv:2605.30188v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.30188 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Eugène Berta [查看邮箱]
[v1]
2026 年 5 月 28 日周四 16:31:36 UTC（888 KB）
[v2]
2026 年 6 月 1 日周一 16:20:48 UTC（889 KB）
[v3]
2026 年 10 月 27 日周二 13:09:15 UTC（1,054 KB）
来源：arXiv cs.AI · arxiv.org