arXiv cs.AI· Bach Nguyen, Zhaonan Li, Mau Son Nguyen, Sanika Chavan, Nilay Kumar, Hong Anh Nguyen, Khoa Vo, Ben Zhou·· 10 天前AI 评分25
VisualNoiseQA：LLM 如何在噪声证据下推理？一个主动视觉推理基准
How Well Do LLMs Reason with Noisy Evidence? An Active Visual Reasoning Benchmark
AI 导读
研究者提出 VisualNoiseQA，一个面向噪声视觉反馈下主动推理的基准：纯文本 LLM 需通过迭代查询一个固定的现成 VLM（视为随机视觉传感器）来解答 VQA 问题，每次查询采样多次并以自一致性暴露经验不确定性信号，供推理器决定下一步问什么、何时停止。
正文 · AI 翻译
摘要：现实世界中的推理很少能简化为静态问答：智能体必须主动从往往带有噪声且不可靠的工具和传感器中收集信息。然而，大多数现有的主动推理基准都假设环境反馈是可信的，或者引入噪声却没有暴露一个明确的、经过校准的不确定性信号，这使得 LLM 在证据本身不确定时应当如何推理这一问题仍悬而未决。我们提出了 VisualNoiseQA，一个用于噪声视觉反馈下主动推理的新基准。一个纯文本 LLM 必须通过迭代查询一个固定的、现成的 VLM（被视为随机视觉传感器）来解决 VQA 问题。对于每次查询，我们抽取多个样本，并通过自洽性暴露一个经验不确定性信号，使推理器能够从不同角度进行探查，并决定接下来问什么以及何时停止。我们的构建过程是自动且可扩展的：从多样的 VQA 来源和两个带噪声的 VLM 出发，我们只保留传感器不一致但人类可解的问题。我们在涵盖感知、图表理解和知识密集型推理的 1,000 个实例上评估了多个 LLM 推理器。因此，VisualNoiseQA 提供了一个受控的实验场，用于研究不同 LLM 如何利用不确定性信号进行稳健推理。
| 评论： | 27 页，9 张图，11 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07751 [cs.AI] |
| （或 arXiv:2610.07751v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07751 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bach Nguyen [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 04:49:11 UTC（3,576 KB）
来源：arXiv cs.AI · arxiv.org