跳到正文
arXiv cs.CL· Ryosuke Yamaki, Daichi Mochihashi, Nobutaka Shimada, Seitaro Shinagawa, Tadahiro Taniguchi·· 12 小时前AI 评分31

CCG Diffusion:用组合范畴语法驱动组合式且消解句法歧义的文生图生成

CCG Diffusion: Combinatory Categorial Grammar-Driven Compositional and Syntactically Disambiguated Text-to-Image Generation

AI 导读

CCG Diffusion 是一种无需训练的文生图控制方法,利用组合范畴语法(CCG)从解析结果直接读取词间修饰关系,并通过提示词重写与注意力引导两项机制统一控制属性绑定、空间关系、数量以及介词短语(PP)附着歧义。在 Stable Diffusion 和 Sana 两个架构不同的骨干上,该方法在属性绑定与 2D 空间关系上取得对比方法中的最高分,并在 PP 歧义消解上显著优于所有对比方法。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:文本到图像生成模型并不显式接收提示词的句法结构,即哪个词修饰哪个词、每个短语附着在哪里。因此,它们常常难以将属性绑定到正确的对象、难以正确描绘空间关系和数量,也难以按预期解释渲染句法歧义的提示词。现有的基于句法的控制方法主要解决属性绑定问题,对空间关系和数量的控制能力有限,也难以指定句法歧义提示词的解释。它们依赖短语结构语法或依存语法,并需要对树结构施加额外规则或约束,以提取词与词之间的修饰关系或指定句法解释。我们提出 CCG Diffusion,这是一种无需训练的方法,使用组合范畴语法(CCG)控制图像生成。在 CCG 中,每个词的范畴携带丰富的句法信息:它规定了该词与什么组合、形成什么短语。因此,词与词之间的修饰关系可以直接从 CCG 分析中读出。此外,介词短语(PP)附着歧义作为一种代表性的句法歧义,只需固定介词的范畴即可解决。CCG Diffusion 应用同样的两种基于 CCG 的机制——提示词重写和注意力引导——既用于控制属性绑定、空间关系和数量,也用于解决 PP 歧义。在两个架构不同的骨干模型 Stable Diffusion 和 Sana 上,CCG Diffusion 在属性绑定和二维空间关系方面取得了所比较方法中的最高分,并在 PP 歧义消解方面显著优于所有方法。
评论: 审稿中的预印本
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL)
引用为: arXiv:2610.29415 [cs.CV]
  (或 arXiv:2610.29415v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.29415

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ryosuke Yamaki [查看电子邮件]
[v1] 2026年10月21日星期三 08:38:18 UTC(14,336 KB)

来源:arXiv cs.CL · arxiv.org