arXiv cs.CL· Kasra Kamali, Basim Azam, Tuan Duong Trinh, Jean Honorio, Naveed Akhtar·· 10 小时前AI 评分29
ODC：面向文生图语义对齐的推理时正交漂移校正方法
ODC: Orthogonal Drift Correction for Improved Text-to-Image Semantic Alignment at Inference
AI 导读
研究者提出推理时引导方法 Orthogonal Drift Correction（ODC），无需重训练模型或额外用户输入即可缓解文生图语义漂移。ODC 先在共享视觉-语言嵌入空间定位初始图像与提示词的漂移向量，提取其与提示词方向正交的分量并经词汇表代理机制回译为文本，再通过自适应降秩概念移除模块生成精炼文本条件进行二次生成。
正文 · AI 翻译
摘要：文本到图像模型在根据文本描述生成高质量图像方面取得了显著成功。然而，它们常常受到“语义漂移”的困扰，即生成的输出无法与复杂或细微的文本提示精确对齐。尽管近期的方法已尝试解决属性绑定或对象存在性方面的语义错误，但仍缺乏一种更全面的方法，能够通过直接细化初始用户提示的文本嵌入来解决这些问题。在这项工作中，我们提出了正交漂移校正（Orthogonal Drift Correction，ODC），这是一种推理时引导方法，旨在无需模型重新训练或额外用户输入的情况下缓解语义漂移。ODC 通过两阶段过程引导图像生成。在第一阶段，它通过在共享的视觉-语言嵌入空间中评估初始生成的图像与用户提示，来识别语义漂移。然后，它分离出该漂移向量中与提示方向正交的分量，并通过基于词汇表的替代机制将其转换回文本。在第二阶段，它通过将初始文本嵌入和重新嵌入的漂移表示输入到一个自适应降秩概念移除模块中，为第二次生成过程生成细化的文本条件。我们的实验表明，ODC 持续改善提示-图像对齐，在 COALBench-300 和 PartiPrompts 基准上，CLIP 分数相比基线最高提升 5.4%。此外，在 T2I-CompBench 复杂子集上，ODC 相比竞争方法将平均 3-in-1 分数提升了 4.5%。作为一个即插即用模块，ODC 提供了一种实用且高效的方法来提高文本到图像模型的可靠性。代码可在 此 https URL 获取。
| 评论： | 被 Transactions on Machine Learning Research (TMLR) 2026 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；计算与语言 (cs.CL)；机器学习 (cs.LG) |
| 引用为： | arXiv:2611.00819 [cs.CV] |
| （或 arXiv:2611.00819v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00819 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kasra Kamali [查看电子邮件]
[v1]
2026年10月31日 星期六 11:00:01 UTC (23,676 KB)
来源：arXiv cs.CL · arxiv.org