arXiv cs.AI· Jialu Pan, Yufeng Zhang, Nan Hu, Zhenbang Chen, Ji Wang, Keqin Li·· 11 小时前AI 评分18
KL 散度在高斯分布扰动下的最坏情况最优 √ε 速率稳定性
Worst-Case Optimal $\sqrt{\epsilon}$-Rate Stability of KL Divergence under Perturbations of Gaussian Distributions
AI 导读
研究证明：当高斯参考分布被扰动时，KL 散度满足 √ε 速率的最坏情况最优稳定性界。设 N1、N2 为 d 维高斯分布，P 为任意满足 E_P[‖X‖²]<∞ 且 KL(P‖N1)<∞ 的分布，若 KL(N1‖N2)≤ε（0<ε<1/12），则 |KL(P‖N1)−KL(P‖N2)| 的上界为 √(6dε)/2 + K√ε + o(√ε)。
正文 · AI 翻译
摘要：我们建立了当高斯参考分布受到扰动时，Kullback-Leibler（KL）散度的一个稳定性界。现有的高斯分布之间 KL 散度的松弛三角不等式要求三个分布均为高斯分布，这限制了它们在基于流的生成模型进行分布外检测等应用中的使用。设 $\mathcal{N}_1$ 和 $\mathcal{N}_2$ 为 $d$ 维高斯分布，$P$ 为任意满足 $\mathbb{E}_P[\|X\|^2]<\infty$ 且 $\mathrm{KL}(P\Vert \mathcal{N}_1)<\infty$ 的 $d$ 维分布。若对 $0<\epsilon<1/12$ 有 $\mathrm{KL}(\mathcal{N}_1\Vert\mathcal{N}_2)\leq\epsilon$，我们给出 $\left|\mathrm{KL}(P\Vert\mathcal{N}_1)-\mathrm{KL}(P\Vert\mathcal{N}_2)\right|$ 的一个上界。在适当的均匀有界条件下，当 $\epsilon\rightarrow 0$ 且 $d$ 固定时，该界为 $ \frac{\sqrt{6d\epsilon}}{2}+K\sqrt{\epsilon}+o(\sqrt{\epsilon})$，其中 $K$ 依赖于 $\mathcal{N}_1$ 和 $\mathcal{N}_2$ 的参数，以及 $\mathbb{E}_P[\|X\|]$ 和 $\mathbb{E}_P[\|X\|^2]$。此外，我们证明 $\sqrt{\epsilon}$ 依赖关系在最坏情况下是最优的。该结果将仅限于高斯三元组的稳定性保证推广到涉及任意分布与两个邻近高斯参考的比较。在合成分布和基于流的模型潜在表示上的实验支持了所预测的稳定性行为。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.11026 [cs.LG] |
| （或 arXiv:2604.11026v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.11026 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yufeng Zhang [查看邮箱]
[v1]
2026年4月13日星期一 05:49:59 UTC（1,186 KB）
[v2]
2026年4月15日星期三 09:15:32 UTC（1,188 KB）
[v3]
2026年4月16日星期四 15:03:23 UTC（1,275 KB）
[v4]
2026年10月16日星期五 15:32:20 UTC（13,681 KB）
来源：arXiv cs.AI · arxiv.org