arXiv cs.AI· Chufan Shi, Cheng Yang, Tiannuo Yang, Isadora White, Yiwei Chen, Taylor Berg-Kirkpatrick, Xuezhe Ma·· 10 天前AI 评分36
统一多模态模型的视觉拒答能力：Draw-or-Decline 基准与 VisTA 训练方法
Visual Abstention in Unified Multimodal Models
AI 导读
研究提出视觉拒答概念并发布 Draw-or-Decline 基准，包含 7 类任务共 1,050 对可行-不可行请求，用于同时衡量编辑成功率与对不可行请求的拒绝能力。
正文 · AI 翻译
摘要：统一多模态模型（UMMs）将理解与生成融为一体，但其生成行为很少受其对任务理解所支配。我们将视觉弃权形式化：当所请求的视觉变换在任务规则下不可能实现时，模型应识别出不存在有效解，说明这一点，并拒绝生成。我们提出 Draw-or-Decline（DoD），一个包含 7 个任务类别、1,050 对可行-不可行请求的基准，同时衡量编辑成功率和拒绝不可行请求的能力。评估 8 个 UMM 后，我们发现编辑能力与弃权是两种不同的能力：即使是最强的编辑器，编辑准确率为 68.4%，在普通指令下也仅拒绝 0.4% 的不可行请求。它们的推理揭示了原因：模型很少注意到冲突，而是把编辑当作请求可行来规划，常常描述图像中不存在的物体，或悄悄把请求改成自己能完成的。明确提示这些 UMM 报告不可行性会增加文本拒绝，但会降低编辑准确率。我们提出 VisTA（Visual Transformation and Abstention），一种将可行与不可行示例配对的训练方法，使模型在决定是否生成之前先判断可行性。我们训练 VisTA-BAGEL 执行可行编辑并拒绝不可行请求。在没有任何提醒的情况下，它拒绝了 93.0% 的不可行请求，而最强的编辑器仅为 0.4%，同时仅错误拒绝了 0.8% 的可行请求。与提醒不同，这不会牺牲编辑准确率：VisTA-BAGEL 完成了 74.3% 的可行编辑，超过所评估的 8 个 UMM 中的任何一个。
| 评论： | 25 页，6 幅图，13 张表。项目页面：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.07887 [cs.CL] |
| （或 arXiv:2610.07887v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07887 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chufan Shi [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 07:33:42 UTC（1,674 KB）
来源：arXiv cs.AI · arxiv.org