跳到正文
arXiv cs.AI· Alexandre Myara, Nicolas Bourriez, Thomas Boyer, Thomas Lemercier, Ihab Bendidi, Auguste Genovesio·· 1 天前AI 评分22

XFactors:用对比监督实现解耦信息瓶颈的弱监督 VAE 框架

XFACTORS: Disentangled Information Bottleneck via Contrastive Supervision

AI 导读

XFactors 是一个弱监督 VAE 框架,通过对比监督实现解耦信息瓶颈,将表示分解为残差子空间 S 与各因子专属子空间 T₁…T_K,用 InfoNCE 损失拉近同因子值隐变量、推开不匹配对,并以 KL 正则施加高斯结构,无需对抗训练和辅助分类器。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:解耦表示学习旨在将独立的变化因素映射到独立的表示分量上。一方面,纯无监督方法已被证明在完全解耦的合成数据上取得成功,但在没有强归纳偏置的情况下,无法从真实数据中恢复语义因素。另一方面,有监督方法不稳定且难以扩展到大型属性集,因为它们依赖于对抗目标或辅助分类器。
我们提出 \textsc{XFactors},一个弱监督 VAE 框架,能够对选定的一组因素进行解耦并提供显式控制。基于解耦信息瓶颈视角,我们将表示分解为残差子空间 $\mathcal{S}$ 和因素特定子空间 $\mathcal{T}_1,\ldots,\mathcal{T}_K$ 以及残差子空间 $\mathcal{S}$。每个目标因素通过对比监督编码在其分配的 $\mathcal{T}_i$ 中:InfoNCE 损失将具有相同因素值的潜在表示拉近,并将不匹配的对推开。同时,KL 正则化在 $\mathcal{S}$ 和聚合的因素子空间上施加高斯结构,在无需对非目标因素进行额外监督的情况下组织几何结构,并避免对抗训练和分类器。
在多个数据集上,使用恒定超参数,\textsc{XFactors} 实现了最先进的解耦分数,并在相应子空间中产生一致的定性因素对齐,从而通过潜在替换实现受控的因素交换。我们进一步证明我们的方法随潜在容量增加而正确扩展,并在真实数据集 CelebA 上进行了评估。我们的代码可在 \href{this https URL}{this http URL} 获取。
主题: 机器学习 (cs.LG);人工智能 (cs.AI)
引用为: arXiv:2601.21688 [cs.LG]
  (或 arXiv:2601.21688v3 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2601.21688

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Alexandre Myara [查看电子邮件]
[v1] 2026年1月29日 星期四 13:20:48 UTC (44,758 KB)
[v2] 2026年7月9日 星期四 17:00:50 UTC (42,313 KB)
[v3] 2026年11月11日 星期三 14:32:31 UTC (46,990 KB)

来源:arXiv cs.AI · arxiv.org