跳到正文
arXiv cs.CL· Somraj Gautam, Gaurav Harit·· 11 小时前AI 评分27

Cycle-of-Thought:面向文档图像表格视觉问答的自评估迭代推理框架

Cycle-of-Thought: Self-Evaluative Iterative Reasoning for Table Visual Question Answering in Document Images

AI 导读

Self-RefineVQA 是一个无需训练、在推理阶段自我纠错的表格 VQA 框架,让单个 VLM 迭代扮演生成器、批评者和精炼者,通过提示词引导的重新评估修正空间错位与逻辑幻觉。在表格 VQA 基准上,该方法在单语和跨语言理解中均取得稳定准确率提升,2B-7B 参数的小模型提升尤为明显,可媲美更大模型。其推理成本线性增长,但省去了人工标注的微调瓶颈,数据效率更高。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)的最新进展显著提升了视觉问答(VQA)的性能,但其对表格等结构化内容的推理仍不一致,常受空间错位和逻辑幻觉困扰。现有改进表格 VQA 的方法通常依赖架构修改或昂贵的监督微调(SFT),由于需要大规模专家标注数据集和大量计算资源,入门门槛很高。在本工作中,我们提出 Self-RefineVQA,一种无需训练、在推理时进行自我纠正的框架,无需额外标注数据或模型更新即可提升表格 VQA 性能。受人类修改行为启发,我们的方法使单个 VLM 迭代地充当生成器、批评者和精炼者,形成闭环自我反馈回路,通过提示引导的重新评估来纠正常见的推理错误。在表格 VQA 基准上的实验表明,Self-RefineVQA 在单语和跨语言理解中均带来一致的准确率提升,对小模型的提升尤为显著,使轻量模型(如 2B-7B 参数)能够媲美大得多的同类模型。此外,我们提供了复杂度对比分析,表明虽然推理成本线性增加,但我们的框架具有更优的数据效率,并通过消除微调所需的人工标注这一难以承受的瓶颈,实现了更低的累计成本。我们的结果凸显了基于提示的自我改进作为 VLM 中可靠表格推理的可扩展、易获取范式的潜力。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2610.32423 [cs.CV]
  (或 arXiv:2610.32423v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.32423

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Somraj Gautam [查看邮箱]
[v1] 2026年10月23日星期五 09:50:37 UTC(1,591 KB)

来源:arXiv cs.CL · arxiv.org