arXiv cs.AI· Wang Ru·· 12 小时前AI 评分34
高斯先验何时失效？RL 微调的潜在几何研究
When Do Gaussian Priors Fail? A Latent Geometry Investigation of RL Fine-Tuning
AI 导读
研究发现，潜扩散模型普遍采用的高斯先验在 RL 微调下存在结构性缺陷：标准 VAE 的 KL 项会惩罚模态分离，多模态数据被压缩进重叠的潜空间。在真实丙氨酸二肽玻尔兹曼分布上，高斯先验 VAE 在 beta_c = 0.224 时崩溃，而模态追踪的高斯混合先验在 0.00316 时崩溃，同一流程下相差 71 倍。
正文 · AI 翻译
摘要：潜扩散模型几乎普遍在 VAE 潜空间上放置高斯先验。对于基础生成而言，这一默认设置并无问题；然而在强化学习微调下，它带有结构性局限。标准 VAE 的 KL 项不仅忽略模态结构——它实际上对分离性和紧致性征税。当数据为多模态时，ELBO 最优解会将不同模态压缩进一个重叠的潜表示中。RL 微调会放大这种重叠：评分网络在模态之间的鞍点区域分辨率不足，动态-变分放大效应急剧上升，坍缩边界 beta_c 被推高至远超其变分尺度。在真实的丙氨酸二肽玻尔兹曼分布上，高斯先验 VAE 在 beta_c = 0.224 时坍缩，而模态追踪的高斯混合先验在 0.00316 时坍缩，同一流程下相差 71 倍。
我们将这一差距追溯到单一几何中介量 d_min/(2 sigma_0)，并通过受控干预验证因果链：在固定先验下移动几何，以及在匹配几何下切换先验（完全中介；先验标签系数 0.995x，95% CI [0.79, 1.25]）。三源分解将放大效应定位到学习到的策略（ODE 求解器贡献为零，锚点失配有界）；覆盖平台是模态分离先验的无条件收益，任何 RL 容量都无法弥补。补救措施是有条件的：当潜几何将落入重叠且任务对覆盖敏感时，非高斯先验才恰好是必要的。一个机器校验的理论骨架支持 KL 定价结构——高斯先验下发散的紧致性税与混合先验下有限的分配费——而位置与平台的区分界定了什么是有限资源可及的，什么需要改变先验。
| 评论： | 约 49 页，约 25 幅图 |
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| MSC 分类号： | 68T07, 62F15 |
| ACM 分类号： | I.2.6; G.3 |
| 引用为： | arXiv:2610.28849 [cs.LG] |
| （或 arXiv:2610.28849v1 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.28849 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Rui Wang [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 19:22:06 UTC（2,763 KB）
来源：arXiv cs.AI · arxiv.org