arXiv cs.AI· Nektarios Kalampalikis, Pablo M. Olmos, Isabel Valera·· 6 天前AI 评分22
一次到位：联合学习准确且校准的神经网络
Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks
AI 导读
研究者提出一种双层 Stackelberg 公式，让标准的事后校准器与主干网络端到端联合训练，无需单独的校准集或专用校准损失，仅新增校准器学习率一个超参数。该框架支持从温度缩放、矩阵缩放直到 NN 层的各类校准器，结果显示直接以最终分类层作为校准器即可获得准确且校准良好的模型，且不增加额外参数。方法以极小复杂度超越 SOTA 校准器，并避免多任务学习等场景中独立校准组件的成倍开销。
正文 · AI 翻译
摘要：神经网络（NNs）虽然高度灵活且用途广泛，但往往校准不佳。事后校准方法使用单独的校准数据集和额外的校准参数来调整已训练模型的输出。这一过程增加了开销，需要单独优化校准器并进行后续的模型选择。在本文中，我们表明，标准（事后）校准器可以通过双层 Stackelberg 公式与主干网络进行端到端训练。该公式通过使用交叉熵联合优化准确率和校准，消除了对单独校准集或专用校准损失的需求，仅引入一个额外的超参数：校准器学习率。尽管我们的框架支持从温度缩放和矩阵缩放再到神经网络层的各种校准器，但我们的结果表明，使用最终分类层本身作为校准器可以产生准确、校准良好的模型，且无需额外参数。我们的方法以最小的额外复杂度超越了 SOTA 校准器，同时避免了在多任务学习等设置中单独校准组件带来的乘法开销。
| 评论： | 27 页，7 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.13693 [cs.LG] |
| （或 arXiv:2610.13693v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13693 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Nektarios Kalampalikis [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 14:54:35 UTC（799 KB）
来源：arXiv cs.AI · arxiv.org