arXiv cs.AI· Kaiyue Feng, Yilun Zhao, Yixin Liu, Tianyu Yang, Chen Zhao, John Sous, Arman Cohan·· 3 天前AI 评分24
Physics：面向大学水平物理问题求解的基础模型基准测试
Physics: Benchmarking Foundation Models on University-Level Physics Problem Solving
AI 导读
研究者推出 Physics 基准，包含来自六个核心物理领域 PhD 资格考试难度的 1034 道开放式题目，每题配有解答与独立核验的参考答案，并采用基于 LLM 的评分协议评估数值、符号和文本作答。
正文 · AI 翻译
摘要：我们提出了 Physics，一个用于评估基础模型在高级物理问题求解上的基准。它包含来自六个核心物理领域的博士资格考试中的 1034 道带标注的开放式问题。解决这些问题需要将领域知识应用于物理情境，并进行多步数学推理。每道题都包含一份解答过程和独立核验的参考答案。基于 LLM 的评分协议评估单个答案和完整的多部分问题，支持数值、符号和文本回答。我们评估了 53 个专有和开放权重模型。在无图测试题上，高准确率集中在一小部分思维模型上，最强的开放权重模型已接近专有模型的表现。大多数开放权重模型仍然只能解决不到一半的这些问题。我们对 Qwen3.5-9B 的分析揭示了在应用物理知识和解读图表方面的失败，误读图表影响了若干子问题。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2503.21821 [cs.AI] |
| （或 arXiv:2503.21821v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2503.21821 arXiv 颁发的 DOI，经由 DataCite |
|
| 期刊 参考： | ACL 2025 Findings |
提交历史
来自：Kaiyue Feng [查看邮箱]
[v1]
2025年3月26日星期三 06:21:56 UTC（1,815 KB）
[v2]
2026年10月12日星期一 18:17:30 UTC（364 KB）
来源：arXiv cs.AI · arxiv.org