arXiv cs.CL· Zongwan Cao, Bingbing Wen, Lucy Lu Wang·· 11 小时前AI 评分29
Clarify-or-Answer：面向上下文信息不足的智能体 VQA 强化学习方法
Clarify or Answer: Reinforcement Learning for Agentic VQA with Context Under-specification
AI 导读
研究者提出 Clarify-or-Answer（CoA）智能体，将"是否提问"与"问什么"分开建模，在图像信息不足时生成澄清问题迭代补全上下文。配套发布 CONTEXTCLARIFY 歧义 VQA 数据集及 GRPO-CR 强化学习方法，用多路奖励信号优化澄清问题质量。在三个 VLM 和三个数据集上，CoA 在模块与系统层面均取得一致提升，单轮澄清即可带来显著收益。
正文 · AI 翻译
摘要：现实世界中的视觉问答（VQA）可能依赖上下文：一个图像-问题对可能信息不足，以至于正确答案取决于图像中无法观察到的外部信息。在这种情况下，直接作答可能导致自信但错误的预测。我们提出 Clarify-or-Answer（CoA），一种“询问或回答”智能体，它分别对“询问还是回答”的决策以及“需要时询问什么”进行建模。CoA 首先判断是否需要澄清；如果需要，它会生成一个或多个澄清问题，以迭代方式丰富上下文，直到歧义被消除。为验证该框架，我们引入 CONTEXTCLARIFY，一个包含歧义 VQA 问题以及一组非歧义问题对照集的数据集。我们进一步引入 GRPO-CR（Clarification Reasoning），一种强化学习方法，利用多种奖励信号优化澄清问题的生成，鼓励生成形式良好、聚焦、非平凡且能消除歧义的问题。在三个 VLM 和三个数据集上，CoA 在模块级和系统级均取得了一致的提升，单轮澄清即可带来显著收益，而递归多轮执行在部分设置下提供了适度的额外提升。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2601.16400 [cs.CL] |
| （或 arXiv:2601.16400v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2601.16400 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zongwan Cao [查看邮箱]
[v1]
2026年1月23日星期五 02:12:33 UTC（3,243 KB）
[v2]
2026年10月20日星期二 03:22:00 UTC（3,206 KB）
来源：arXiv cs.CL · arxiv.org