跳到正文
arXiv cs.CL· Yixia Zhang, Girish A. Koushik, Xilu Wang, Wenwu Wang·· 23 小时前AI 评分29

TextSphere:通过共享超球面对齐与均匀性实现高效文本到图像生成

TextSphere: Efficient Text-to-Image Generation via Shared Hyperspherical Alignment and Uniformity

AI 导读

TextSphere 提出一种高效文本到图像生成框架,在 Sphere Encoder 基础上引入语言条件与跨模态对齐,通过 AdaLN 注入预训练 CLIP 文本嵌入,并提出 SSAU 目标在超球面上联合优化语义对齐与表示均匀性。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:近年来,文本到图像生成取得了显著进展,图像质量大幅提升,尤其是通过需要多步推理的基于扩散的方法。相比之下,Sphere Encoder 提供了一种高效的生成框架,能够以更少的前向步骤生成图像。然而,将其扩展到自由形式的文本并非易事,因为其类别条件设计缺乏跨模态对齐。为应对这一挑战,我们提出了 TextSphere,一种高效的文本到图像生成框架,通过语言条件和跨模态对齐扩展了 Sphere Encoder。我们通过自适应层归一化(AdaLN)引入预训练的 CLIP 文本嵌入来引导图像生成,同时保留原有的球面采样机制。为弥合跨模态表示差距,我们引入了球面语义对齐与均匀性(SSAU)目标,在超球面上联合促进语义对齐和表示均匀性。在 CUB-200-2011、MS-COCO-2014 和 Flickr30k 上的实验表明,TextSphere 在文本条件基线上持续降低了生成 FID(gFID),同时实现重建 FID(rFID)低于 1.0。仅需 4 步和 6 步采样,TextSphere 在 CUB-200-2011 和 MS-COCO-2014 上分别取得了比从头训练的对比扩散模型和 GAN 模型更低的 gFID。我们进一步观察到,重建保真度的提升并不一定带来更好的生成质量。此外,我们使用偏最小二乘奇异值分解(PLS-SVD)分析跨模态对齐和模态差距,为我们的方法有效性提供了见解。
评论: 21 页,8 幅图
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL)
引用为: arXiv:2611.23155 [cs.CV]
  (或 arXiv:2611.23155v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23155

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yixia Zhang [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 18:08:53 UTC(32,567 KB)

来源:arXiv cs.CL · arxiv.org