arXiv cs.AI· Wouter N. Edeling, Peter V. Coveney·· 9 天前AI 评分19
基于广义拉普拉斯活跃子空间的可扩展神经网络不确定性量化
Scalable AI Uncertainty Quantification via Generalized Laplace Active Subspaces
AI 导读
研究者提出一种低秩广义拉普拉斯近似方法，用少量数据驱动的曲率方向实现神经网络不确定性量化，后验方差在保留子空间内可闭式求解，先验方差通过经验贝叶斯校准。核心发现是标准贝叶斯缩放会随数据规模增大导致后验方差收缩，迫使低秩框架保留额外弱曲率方向以覆盖校准数据，反而降低预测区间连贯性；而均值损失缩放能给出更稳定的低维活跃子空间和校准良好的预测置信区间。
正文 · AI 翻译
摘要：可靠的不确定性量化（UQ）对于在科学和高风险应用中部署神经网络至关重要，但对网络参数进行完整的贝叶斯推断在计算上是不可行的。我们提出了一种基于少量数据驱动的曲率方向的低秩广义拉普拉斯近似，用于神经网络 UQ。从通过经验损失定义的广义贝叶斯后验出发，我们在该活跃曲率子空间中围绕一组预训练权重构建局部高斯近似。保留子空间中的后验方差具有闭式解，且先验方差通过经验贝叶斯过程进行校准。广义贝叶斯公式使我们能够比较两种后验缩放：与求和负对数似然相关的标准贝叶斯缩放，以及将经验损失按数据数量归一化的平均损失缩放。一个核心发现是，标准缩放会在主要活跃方向上引起后验方差随数据规模变化的收缩。在回归问题中，这可能迫使低秩框架保留额外的弱曲率方向，以实现校准数据的名义覆盖率。当后验样本通过非线性网络传播时，这些额外方向可能会降低预测区间的连贯性，并使后验预测均值偏离预训练模型。相比之下，广义平均损失缩放产生更稳定、更低维的活跃子空间，并产生校准良好、连贯的预测置信区间。这些结果表明，广义拉普拉斯活跃子空间为神经网络中校准的不确定性量化提供了一条实用且可扩展的途径。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11738 [cs.AI] |
| （或 arXiv:2610.11738v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11738 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wouter Edeling [查看电子邮件]
[v1]
2026年10月8日星期四 11:31:29 UTC（2,941 KB）
来源：arXiv cs.AI · arxiv.org