跳到正文
arXiv cs.AI· Ruoran Xu, Wending Gao, Liyunfeng Chen, Aixin Shi, Haoyu Cheng, Zixiang Fang, Yiqiang Zou, Qiufeng Wang·· 3 天前AI 评分35

PhysElite:LLM 距离解决奥赛级物理题还有多远?

PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems?

AI 导读

研究团队发布 PhysElite,一个面向奥赛级物理推理的大规模双语多模态基准,包含 11,586 道奥赛级题目,每题配有图示、中英双语分步解答推导和最终答案。对 18 个开源与闭源 MLLM 的评测显示,最强模型答案准确率仅 33.7%,研究还通过步骤级过程评估诊断模型推理链中的失败环节。数据集已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:理解(多模态)大语言模型在物理问题上的表现,需要能够反映专家级物理推理难度与广度的基准测试。现有物理基准测试在以下两个重要方面仍存在局限:(1)缺乏高难度数据集;(2)对视觉形式、知识点和逐步解题过程的覆盖不全面。因此,模型在当前数据集上的表现可能无法充分代表其解决复杂物理问题的能力。为解决这些问题,我们提出了 PhysElite,一个面向奥林匹克级物理推理的大规模双语多模态基准测试。PhysElite 包含 11,586 道奥林匹克级题目。对于每道题,我们提供相应的视觉图示、逐步的中英双语解题推导以及最终答案。我们对 18 个开源和闭源 MLLM 进行了基准测试,发现即使是最强的模型也仅达到 33.7% 的答案准确率。我们还进行了步骤级过程评估,以诊断模型在推理链中失败的位置。我们的数据集发布于 this https URL。
Comments: 神经信息处理系统大会(NeurIPS)2026
Subjects: 人工智能(cs.AI);多媒体(cs.MM);数学物理(math-ph)
Cite as: arXiv:2608.25097 [cs.AI]
  (或 arXiv:2608.25097v3 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.25097

由 DataCite 颁发的 arXiv DOI

Submission history

来自:Ruoran Xu [查看邮箱]
[v1] 2026年8月25日星期二 19:48:42 UTC(12,681 KB)
[v2] 2026年9月25日星期五 05:03:30 UTC(12,675 KB)
[v3] 2026年10月12日星期一 23:12:54 UTC(12,676 KB)

来源:arXiv cs.AI · arxiv.org