arXiv cs.AI· Jiahao Huang, Kon Woo Kim, Song-Duo Ma, Yuka Kitamura, Felix Wagner, Yunshan Huang, Sunisth Kumar, Xanh Ho, Yun-Ang Wu, Zhijie Chen, Yunjia Xu, Junfeng Jiang, Zefan Yu, Fei Cheng, Akiko Aizawa·· 1 天前AI 评分39
文本到图像模型的“过度实现”问题：OverReal 基准揭示八款系统均会画出提示词未要求的目标
When Chekhov's Gun Fires Anyway: Over-Realization in Text-to-Image Models
AI 导读
研究者提出“过度实现”（over-realization）概念，指文本到图像模型把提示词提及但未要求呈现的目标画进图像，并构建 OverReal 基准进行测量：OverReal-Gen 含 698 条覆盖否定、信念想象、比喻喻体和隐藏视角四种情境的提示词，OverReal-Det 含 2,841 张人工标注图像用于验证自动评判。
正文 · AI 翻译
作者：Jiahao Huang、Kon Woo Kim、Song-Duo Ma、Yuka Kitamura、Felix Wagner、Yunshan Huang、Sunisth Kumar、Xanh Ho、Yun-Ang Wu、Zhijie Chen、Yunjia Xu、Junfeng Jiang、Zefan Yu、Fei Cheng、Akiko Aizawa
摘要：在文本到图像生成中，提示词提到的目标常常以提示词并未要求的方式出现在生成图像中。我们将这种失败称为过度实现（over-realization）。心理空间理论指出了它可能发生的情境：在否定之下、在角色所相信或想象的内容之中、作为比喻比较的载体，或处于隐藏该目标的视角之后。此前的工作仅深入研究了否定，而常规的对齐与偏好指标并不会惩罚这种失败。我们构建了 OverReal 来度量它：OverReal-Gen，包含覆盖这四种情境的 698 条提示词，我们据此测量每个生成器的过度实现率；以及 OverReal-Det，包含 2,841 张生成图像，经人工标注目标是否被过度实现以及如何被过度实现，我们据此验证产生该比率的自动评判器。我们对八个文本到图像系统的评估表明，它们全部都会过度实现，并且 CLIPScore 等常规指标会奖励而非惩罚这种失败。提示词扩展只能部分缓解该失败。在生成器内部，扩散主干对提到的目标的关注程度几乎与对请求的目标一样高。本应抑制目标的提示词所获得的关注少于普通词语。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16630 [cs.CV] |
| （或本版本使用 arXiv:2611.16630v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.16630 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiahao Huang [查看邮箱]
[v1]
2026年11月12日 星期四 11:03:25 UTC（2,303 KB）
来源：arXiv cs.AI · arxiv.org