arXiv cs.AI· Ziquan Zhu, Hanruo Zhu, Si-Yuan Lu, Morris Yu-Chao Huang, Yicheng Lin, Wei Han, Tianlong Chen, Mingyuan Wu, Hanchao Yu, Gaojie Jin, Lu Liu, Bo Sun, Tianjin Huang·· 10 天前AI 评分24
MOTIVE：面向视觉语言模型的多视角自验证与可靠性引导重思考框架
When to Rethink: Learning Multi-Perspective Self-Verification for Vision-Language Models
AI 导读
针对视觉语言模型易生成看似合理却错误答案的问题，研究者提出 MOTIVE 多视角自验证框架，通过正确性对齐的多视角验证学习得到可靠性分数，在推理时决定直接采纳还是触发历史引导的重思考。实验显示，MOTIVE 在多种多模态基准和 VLM 主干上持续优于强自验证与自纠正基线，并减少不必要的推理轮次，无需外部评判模型。
正文 · AI 翻译
作者：Ziquan Zhu、Hanruo Zhu、Si-Yuan Lu、Morris Yu-Chao Huang、Yicheng Lin、Wei Han、Tianlong Chen、Mingyuan Wu、Hanchao Yu、Gaojie Jin、Lu Liu、Bo Sun、Tianjin Huang
摘要：视觉语言模型（VLM）在多模态推理中已取得强劲表现，但仍容易生成看似合理却错误的答案。自验证提供了一种无需依赖外部评判者即可提升答案可靠性的实用方法，但现有方法通常依赖单一验证标准或固定提示，导致可靠性估计不完整且不稳定。我们首先系统分析了验证器能力和提示设计如何影响验证性能。我们的发现表明，更强的验证器能提供更可靠的判断，而验证性能对提示选择高度敏感，没有任何单一提示能在所有任务中始终占优。基于这些发现，我们提出 \texttt{MOTIVE}，一个用于可靠多模态推理的 \textbf{M}ulti-View Self-Verificati\textbf{O}n wi\textbf{T}h Rel\textbf{I}ability-Guided Selecti\textbf{VE} Rethinking 框架。\texttt{MOTIVE} 从互补的验证视角评估每个候选答案，并通过基于正确性的多视角验证学习，学习一个与正确性对齐的可靠性分数。在推理时，该分数主导接受或重思的决策，使可靠答案可直接返回，而不确定的答案则触发历史引导的重思。在多种多模态基准和 VLM 主干上的大量实验表明，\texttt{MOTIVE} 持续优于强大的自验证和自纠正基线。进一步的结果表明，可靠的验证能改善接受或重思决策，并减少不必要的推理轮次，从而在无需外部评判者的情况下实现更可靠、更高效的自验证。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07018 [cs.AI] |
| （或 arXiv:2610.07018v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07018 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ziquan Zhu [查看邮箱]
[v1]
2026年10月4日星期日 15:08:07 UTC（9,818 KB）
来源：arXiv cs.AI · arxiv.org