arXiv cs.CL· Ryosuke Yamaki, Daichi Mochihashi, Nobutaka Shimada, Seitaro Shinagawa, Tadahiro Taniguchi·· 12 小时前AI 评分31
CCG Diffusion:用组合范畴语法驱动组合式且消解句法歧义的文生图生成
CCG Diffusion: Combinatory Categorial Grammar-Driven Compositional and Syntactically Disambiguated Text-to-Image Generation
AI 导读
CCG Diffusion 是一种无需训练的文生图控制方法,利用组合范畴语法(CCG)从解析结果直接读取词间修饰关系,并通过提示词重写与注意力引导两项机制统一控制属性绑定、空间关系、数量以及介词短语(PP)附着歧义。在 Stable Diffusion 和 Sana 两个架构不同的骨干上,该方法在属性绑定与 2D 空间关系上取得对比方法中的最高分,并在 PP 歧义消解上显著优于所有对比方法。
正文 · AI 翻译
摘要:文本到图像生成模型并不显式接收提示词的句法结构,即哪个词修饰哪个词、每个短语附着在哪里。因此,它们常常难以将属性绑定到正确的对象、难以正确描绘空间关系和数量,也难以按预期解释渲染句法歧义的提示词。现有的基于句法的控制方法主要解决属性绑定问题,对空间关系和数量的控制能力有限,也难以指定句法歧义提示词的解释。它们依赖短语结构语法或依存语法,并需要对树结构施加额外规则或约束,以提取词与词之间的修饰关系或指定句法解释。我们提出 CCG Diffusion,这是一种无需训练的方法,使用组合范畴语法(CCG)控制图像生成。在 CCG 中,每个词的范畴携带丰富的句法信息:它规定了该词与什么组合、形成什么短语。因此,词与词之间的修饰关系可以直接从 CCG 分析中读出。此外,介词短语(PP)附着歧义作为一种代表性的句法歧义,只需固定介词的范畴即可解决。CCG Diffusion 应用同样的两种基于 CCG 的机制——提示词重写和注意力引导——既用于控制属性绑定、空间关系和数量,也用于解决 PP 歧义。在两个架构不同的骨干模型 Stable Diffusion 和 Sana 上,CCG Diffusion 在属性绑定和二维空间关系方面取得了所比较方法中的最高分,并在 PP 歧义消解方面显著优于所有方法。
| 评论: | 审稿中的预印本 |
| 主题: | 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.29415 [cs.CV] |
| (或 arXiv:2610.29415v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.29415 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ryosuke Yamaki [查看电子邮件]
[v1]
2026年10月21日星期三 08:38:18 UTC(14,336 KB)
来源:arXiv cs.CL · arxiv.org