TheoPhysEval：评估 AI 智能体自主解决理论物理问题的能力
TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving
研究团队发布 TheoPhysEval，包含 50 道未发表、答案可验证的研究级理论物理问题，用于测试 AI 智能体在无人类提示下自主解题的能力。在可检索文献并编写数值与符号脚本的条件下，表现最好的 GPT-6-Astra（运行于 Codex）准确率达 98%，平均每题成本低于 3 美元。禁用网络搜索和背景论文后，各智能体准确率仅有小幅变化，作者认为这提示模型对文献存在显著记忆。
作者：A. Ramesh Chandra、Aaghaz Mahajan、Ainesh Sanyal、Mianqi Wang、Shubhadeep Chakraborty、Sudip Chakraborty、Shailesh Chandrasekharan、Rama Govindarajan、Akshit Goyal、Jonathan J. Heckman、Yasir Iqbal、Divya Jaganathan、Saumav Kapoor、Andreas Karch、Pushkar Khandare、Sandeep Krishna、Anupam Kundu、Alok Laddha、Tongyan Lin、Swarnendu Maity、Nilmani Mathur、Shani Nadir Meynet、Alessandro Mininno、Abhijeet Mishra、Vidur Niranjan、Abhishodh Prakash、Pratik Rath、Durbar Roy、Debargha Sarkar、Srikanth Sastry、Gary Shiu、Aninda Sinha、Thomas Van Riet、Praneeth Netrapalli、Suvrat Raju
摘要：我们提出了一套包含 50 个未发表的研究级理论物理问题，且答案均可验证。在没有 AI 辅助的情况下，我们题目集中的典型问题可由该领域的世界级专家在约一天或更短时间内解决，但对于相邻专业的专家而言，所需时间会显著更长。我们测试了现成 AI 智能体在无人工提示的情况下自主解决这些问题的能力。当允许使用现实环境中可用的工具（包括检索文献以及编写脚本进行数值和符号计算）时，表现最佳的智能体 GPT-6-Astra 在 Codex 中运行，以平均每题低于 3 美元的成本获得了近乎完美的 98% 准确率。平均而言，当禁止智能体进行网络搜索和访问背景研究论文时，其准确率仅有小幅变化，这表明它们对文献存在大量记忆。这些结果表明，最先进的智能体能够准确完成理论物理研究中所需的各类具体计算。我们讨论了这些发现的更广泛意义，并探讨了尽管智能体具备出色的解题能力，但目前仍缺乏由智能体主导的理论物理突破的可能原因。
| 评论： | 8+48 页（v2）已添加参考文献 |
| 主题： | 高能物理 - 理论 (hep-th)；统计力学 (cond-mat.stat-mech)；强关联电子 (cond-mat.str-el)；人工智能 (cs.AI)；广义相对论与量子宇宙学 (gr-qc) |
| 引用为： | arXiv:2610.16733 [hep-th] |
| （或此版本的 arXiv:2610.16733v2 [hep-th]） | |
| https://doi.org/10.48550/arXiv.2610.16733 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Suvrat Raju [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 13:47:49 UTC（451 KB）
[v2]
2026 年 11 月 12 日星期四 09:30:15 UTC（453 KB）
来源：arXiv cs.AI · arxiv.org