arXiv cs.AI· Chunxi Luo, Qishuai Ding, Xingchen Peng, Hengwei Ye, Ke Zhang, Wenxin Lian, Tianyi Lu, Chunlong Yu, Zhenya Lin·· 2 天前AI 评分23
Frame Evidence：多图空间推理中参考系与视觉证据的基准测试
Frame Evidence:A Benchmark for Reference Frames and Visual Evidence in Multi-Image Spatial Reasoning
AI 导读
研究者推出 Frame Evidence 基准，包含 320 组匹配三元组和 960 道中文多选题，用于检验多图空间推理中参考系与视觉证据变化时答案是否仍正确。在 288 道留出题上，GPT three-shot 单项准确率达 50.00%，但最佳三帧组准确率仅 5/48（10.42%），由 GPT two-shot 取得。少样本提示与任务适配能提升单项准确率，却未持续改善联合正确性。
正文 · AI 翻译
摘要：空间答案取决于语言中指定的参考系及其支撑的视觉证据。仅凭项目准确率无法说明当其中任一者改变时正确性是否依然保持。我们提出 Frame Evidence，一个包含 320 个匹配三元组和 960 道中文多项选择题的基准，题目来自拍摄和渲染的场景。其中一组在固定图像上比较三种有依据的参考系。另一组将标注为不充分的图像删除与保持答案的添加配对。联合指标要求在所有三个参考系和配对证据变体上均给出正确答案。在 288 道留出问题上的 20 种配置中，GPT 三次示例达到 50.00\% 的项目准确率，但最佳三参考系组准确率为 5/48（10.42\%），由 GPT 两次示例达到。少样本提示和任务特定适配提高了项目准确率，但未持续提高联合正确性。输入控制显示了图像在何处支持匹配成功，而重复执行则揭示了相似分数之下的答案不稳定性。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19564 [cs.CV] |
| （或使用 arXiv:2610.19564v2 [cs.CV] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.19564 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Chunxi Luo [查看电子邮件]
[v1]
2026年10月14日星期三 04:22:42 UTC（4,592 KB）
[v2]
2026年10月15日星期四 03:11:14 UTC（4,592 KB）
来源：arXiv cs.AI · arxiv.org