arXiv cs.AI· Matteo Tolloso, Davide Bacciu, Luigi Bonati·· 14 小时前AI 评分29
多保真度训练如何重塑原子模型的预测不确定性分解
Multi-Fidelity Training Reshapes Uncertainty Decomposition in Atomistic Models
AI 导读
研究用基于 ANI-1x 训练的均值-方差 MACE 模型深度集成，对比从头高保真训练与低保真预训练后微调，发现预训练能降低预测误差并改善不确定性排序，但预测方差并未良好校准，且在能量外推下校准退化更严重。训练动态分析将大部分校准退化定位到高保真优化阶段，此时学习到的偶然方差在留出数据上变得过度自信。多保真度微调还产生了比从头高保真训练更有效的不确定性采集函数。
正文 · AI 翻译
摘要：多保真度训练将丰富的低保真度数据与稀缺的高保真度标签相结合，在原子建模中日益常见，但其对预测不确定性的影响在很大程度上仍未被探索。我们使用在 ANI-1x 上训练的均值-方差 MACE 模型的深度集成来研究这一问题，对比从头进行高保真度训练与先进行低保真度预训练再微调两种方式。我们刻画了训练全程以及两种分布偏移（未见过的分子体系和更高能量的构型）下的偶然不确定性、认知不确定性和总不确定性。我们发现，预训练降低了预测误差，并在所有测试集上改善了基于不确定性的排序，但并未产生良好校准的预测方差；在能量外推下，校准退化更为严重。训练动态分析将这种校准退化的大部分定位到高保真度优化阶段，在此期间，学习到的偶然方差在留出数据上变得过度自信。此外，多保真度微调产生的基于不确定性的采集函数比从头进行高保真度训练更有效。这些发现表明，不确定性排序和校准捕捉的是不同性质，在多保真度原子模型中必须分别评估，尤其是在外推情况下。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.35560 [cs.LG] |
| （或本版本的 arXiv:2610.35560v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.35560 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Matteo Tolloso [查看邮箱]
[v1]
2026年10月26日星期一 15:01:42 UTC（1,359 KB）
来源：arXiv cs.AI · arxiv.org