arXiv cs.AI· Hongxu Chen, Chun Wang, Yanghao Wang, Hongxiang Li, Zhen Wang, Zhixiang Zhang, Long Chen·· 10 小时前AI 评分31
DM-VAE:用双流形结构约束 VAE 潜空间
Dual-Manifold Variational Autoencoders
AI 导读
研究者提出双流形 VAE(DM-VAE),用高维重建分支搭配低维分支提取干净的拓扑骨架,将高维潜流形锚定到更平滑的子空间,无需依赖 DINOv2 等外部基础模型。在 ImageNet-1K(256x256)上,该无基础模型方案取得 SOTA 的 rFID 0.12,生成 FID50K 为 1.28(无 CFG)和 1.20(有 CFG),与 DINOv2 正交结合后进一步达到 1.11。
正文 · AI 翻译
摘要:在潜在扩散模型中,扩展变分自编码器(VAE)的潜在维度对于提升重建质量的上限至关重要。然而,在没有显式结构约束的情况下,这种未正则化的扩展很容易产生崎岖且病态的潜在流形,导致生成的潜在表示在生成过程中偏离流形(即离流形问题)。近期工作通过使用外部基础模型(如 DINOv2)作为拓扑正则化器来平滑该流形。然而,我们认为将潜在空间绑定到冻结的外部先验本质上限制了泛化能力:受其预训练分布和语义偏见的约束,它们可能无法在分布外领域捕捉到忠实的视觉细节。观察到低维潜在表示自然形成更平滑、更利于生成的流形,我们提出双流形 VAE(DM-VAE),利用内部表示作为拓扑正则化器。具体而言,DM-VAE 将高维重建分支与提取干净拓扑骨架的低维分支配对,将高维流形锚定到该平滑子空间。在此框架基础上,我们进一步引入拓扑表示对齐(TRA)以在训练期间监督生成器的中间特征,并引入拓扑骨架内部引导(IG_TS)以在推理时引导结构组件同时保留高频细节。在 ImageNet-1K(256x256)上,我们不依赖基础模型的 DM-VAE 实现了最先进的 rFID 0.12 以及生成 FID50K 1.28(无 CFG)和 1.20(有 CFG),并且在与 DINOv2 正交结合时进一步达到 1.11。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23964 [cs.CV] |
| (或 arXiv:2611.23964v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23964 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hongxu Chen [查看电子邮件]
[v1]
2026年11月18日星期三 06:58:42 UTC(8,984 KB)
来源:arXiv cs.AI · arxiv.org