arXiv cs.AI· Kecheng Liang, Haoyang Liu, Zexin Chen, Zirong Liu, Weixing Chen, Qiufeng Wang, Yang Liu, Liang Lin·· 4 小时前AI 评分31
PhysAlign:多模态物理推理中基于证据的角色对齐基准
PhysAlign: A Benchmark for Evidence-Grounded Role Alignment in Multimodal Physics Reasoning
AI 导读
PhysAlign 基准用于评估多模态模型能否将物理示意图中识别出的信息正确对应到其物理角色,包含 3341 个人工验证探针、覆盖 986 道物理题,并引入 CAcc、GAcc、JAcc 等五项指标。
正文 · AI 翻译
摘要:物理图表理解中的一个关键挑战是将视觉信息与其所描述的物理实体、关系和条件正确关联起来。即使一个数值、符号或其他局部元素被准确识别,若将其归属到错误的实体或范围,也可能扭曲底层的物理前提并导致错误推理。为了系统地研究这一挑战,我们提出了 \textbf{PhysAlign},一个旨在评估多模态模型能否将从物理图表中识别出的信息与其预期物理角色正确关联的基准。通过局部探针和受控变体将视觉识别与物理角色分配解耦,PhysAlign 将对应错误与识别失败区分开来。它包含 3,341 个人工验证的探针,覆盖 986 道物理题,能够大规模系统地评估视觉识别与物理角色对应关系。我们进一步引入了五项互补的评估指标,包括 CAcc、GAcc 和 JAcc,全面评估模型识别图表内容、建立正确物理对应关系以及解决底层物理问题的能力。在我们评估的多模态模型中,PhysAlign 揭示出局部视觉识别与物理角色 grounding 之间存在一致的差距。即使所查询的内容被正确识别,GPT-6-Astra 的条件对应错误率仍为 13.8\%,而 InternVL3.5-8B 则上升至约 50.6\%。这些发现表明,仅凭强大的感知并不能确保可靠的物理解释,暴露出一个在很大程度上被答案级准确率所掩盖的明显 grounding 瓶颈,并凸显出未来模型需要更好地将识别出的视觉证据与其物理含义对齐。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2609.33319 [cs.AI] |
| (或 arXiv:2609.33319v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.33319 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Haoyang Liu [查看邮箱]
[v1]
2026年9月27日星期日 07:34:22 UTC(3,202 KB)
[v2]
2026年11月17日星期二 16:13:19 UTC(1,773 KB)
来源:arXiv cs.AI · arxiv.org