arXiv·· 12 天前AI 评分27
SpatialChain:审计 VLM 空间推理忠实度的基准
SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs
AI 导读
SpatialChain 是一个用于审计 VLM 空间推理忠实度的基准,包含 28,350 条训练样本和 899 条测试样本,将 GQA 空间问题与场景图推理链配对,仅保留生成答案与符号真值匹配的样本。其双轴评估结合客观链重叠指标与场景图感知的 LLM 评判器,对忠实度进行打分,以区分正确答案来自真实空间推理还是语言捷径。
来源:arXiv · arxiv.org