基于 Rényi 正则化流的变分推断用于贝叶斯校准

R\`enyi-Regularized Flow-Based Variational Inference for Bayesian Calibration

AI 导读

研究提出在基于归一化流的变分推断中加入 Rényi 散度正则项，以缓解贝叶斯模型校准中后验多峰导致的模式坍塌。在双参数孪生实验中，该正则化将近坍塌比例从 50% 降至 25%，连通双峰情形下流近似可覆盖两个模式。但该方法改变了贝叶斯变分目标，在近似精度上引入权衡，并非模式坍塌的通用解法。

正文 · AI 翻译

查看 PDF

摘要：使用归一化流的变分推断为贝叶斯模型校准提供了灵活的后验近似，但当后验具有被低概率质量区域分隔的多个众数时，该方法会陷入困难。我们在一个双参数孪生实验中研究了这一行为，并对变分目标进行正则化。在高斯观测误差和高斯先验下，相应的最小化目标是期望 Tikhonov 校准目标减去近似分布的微分熵。然而，期望 Tikhonov 项倾向于集中在其中一个众数附近，而熵最大化并不能保证多峰性。我们引入了一个基于 Rényi 散度的正则化项，鼓励近似后验覆盖先验支撑集。在连通的双峰情形中，流近似能够表示两个众数；在众数分离良好的情形中，流和高斯混合模型经常遗漏一个众数。引入的正则化将近乎坍缩的比例从 50% 降低到 25%。虽然正则化在该实验中改善了众数覆盖，但它改变了贝叶斯变分目标，在近似精度上引入了权衡，并且不能为众数坍缩提供通用解决方案。

主题：	人工智能（cs.AI）；机器学习（stat.ML）
引用为：	arXiv:2610.37169 [cs.AI]
	（或 arXiv:2610.37169v1 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.37169 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Exauce LUWEH ADJIM NGARTI [查看电子邮件] [通过 CCSD 代理]
[v1] 2026年10月27日星期二 12:57:10 UTC（859 KB）

来源：arXiv cs.AI · arxiv.org