arXiv cs.AI· Ahmad Arrabi, Xiaohan Zhang, Xingyu Li, Safwan Wshah·· 10 小时前AI 评分31
Split and Bridge（SnB）：用扩散桥接实现多模态生成
Split and Bridge: Multimodal Generation via Diffusion Bridging
AI 导读
Split and Bridge（SnB）是一个自下而上的多模态生成框架，在采样阶段耦合预训练的单模态扩散模型，无需联合训练即可复用现有模型。它让各模态沿共享扩散轨迹运行至分裂点，再由桥接模块分支为模态专属轨迹。在 PolyMNIST、CelebAMask-HQ、PIE-Bench++、ROCO 上，SnB 在样本质量与一致性间取得良好平衡，并可零样本扩展到交错协同生成、图像编辑和风格耦合/解耦。
正文 · AI 翻译
摘要：视觉数据通常通过多种互补模态（例如图像和分割掩码）来表达，每种模态捕捉同一底层结构的不同方面。大多数现有的多模态方法采用自顶向下的范式，通过从头开始的联合训练学习共享的潜变量，这限制了可扩展性。我们提出了 Split and Bridge（SnB），这是一个自底向上的多模态生成框架，在采样时将预训练的单模态扩散模型耦合起来。SnB 不学习统一的潜空间，而是通过遵循一条共享的扩散轨迹直到分裂点，然后分支为由桥接模块引导的模态特定轨迹，从而生成连贯的多模态样本。这种设计使得无需联合训练即可即插即用地复用强大的预训练模型，使其具有可扩展性且易于适配。在标准基准（PolyMNIST、CelebAMask-HQ）和更复杂的设置（PIE-Bench++、ROCO）上，SnB 在样本质量和连贯性之间实现了良好的平衡。我们表明，SnB 自然可以扩展到下游零样本任务，如交错协同生成、图像编辑和风格耦合/解耦。我们的结果表明，自底向上生成提供了一个实用的框架，补充了现有的自顶向下多模态方法。代码可在 this https URL 获取
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.10441 [cs.CV] |
| （或此版本的 arXiv:2611.10441v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.10441 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ahmad Arrabi [查看电子邮件]
[v1]
2026年11月7日星期六 03:41:27 UTC（38,375 KB）
[v2]
2026年11月10日星期二 05:18:50 UTC（38,367 KB）
来源：arXiv cs.AI · arxiv.org