arXiv cs.AI· Fairooz Azim, Lydia Achour, Claudia Borg, Lina Rojas-Barahona·· 14 小时前AI 评分31
评估视觉语言模型面向视障人士的视觉定位能力
Evaluating Visual Language Models on Visual Grounding for Visually Impaired People
AI 导读
研究用 VizWiz-VQA-Grounding 数据集评测开源 VLM 的视觉定位能力，并提出 VG-SHAP 扩展可解释性框架为黑盒模型提供视觉定位解释。结果显示，VLM 虽能生成正确答案，却难以定位到图像中正确的区域；作者指出该结论受所用分割模型质量限制，仍需进一步研究。
正文 · AI 翻译
摘要：视觉问答（VQA）中的视觉定位（VG）是视觉语言模型（VLM）的一项基本能力，能够检测图像中与回答问题最相关的区域。这反映了模型的多模态理解能力，在与视障人士（VIP）交互时至关重要。事实上，视觉定位应用于辅助场景时，不仅是一项技术特性，更是一项信任与安全要求。在本工作中，我们研究面向视障人士的 VLM 视觉定位。为此，我们使用 VizWiz-VQA-Grounding 数据集与挑战赛评估开源 VLM 的视觉定位能力，该数据集包含视障人士拍摄的真实生活图像。我们提出 VG-SHAP，它扩展了现有的可解释性框架以提供视觉定位解释，从而能够评估黑盒 VLM。我们在 VizWiz-VQA-Grounding 挑战赛上的结果表明，尽管 VLM 能生成正确答案，却难以在图像中定位到正确区域。然而，这些结果受限于我们可解释性框架中分割模型的质量，仍需进一步研究。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33078 [cs.CV] |
| （或 arXiv:2610.33078v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33078 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lydia Achour [查看邮箱]
[v1]
2026年10月21日 星期三 08:56:07 UTC（1,045 KB）
来源：arXiv cs.AI · arxiv.org