arXiv cs.AI· Siru Jiang, Yongzhe Lyu, Shuo Lu, Yubin Wang, Yuxiang Zhang, Yue Liao, Bin Wang, Jian Liang, Tieniu Tan·· 10 天前AI 评分31
WorldSolver:LLM 智能体能否通过求解器生成模拟物理动态?
WorldSolver: Can LLM Agents Simulate the Physical Dynamics via Solver Generation?
AI 导读
研究者推出 WorldSolver 基准,包含来自 61 篇经典计算机图形学论文的 168 个物理仿真任务,覆盖 7 个物理领域,要求 LLM 智能体在给定代码脚手架中补全求解器实现。评测从执行检查、视觉保真度和物理合理性三个维度展开,GPT-5.6-Sol 与 Claude-Opus-5 表现相对最好,总分仅为 48.7% 和 46.7%。
正文 · AI 翻译
摘要:基于 LLM 的智能体正日益推进科学与工程问题的求解,而物理仿真正成为一个颇具挑战性却实用的试验场,用于复现复杂物理现象,并应用于具身 AI、游戏和电影领域。作为此类仿真的核心工具,求解器计算动态系统状态如何随时间演化。构建此类求解器需要物理理解以确定合适的模型,需要数学推理以形式化底层动力学,还需要软件工程将其实现为可执行代码,然而 LLM 智能体的这一能力仍未被充分探索。为此,我们推出 WorldSolver,一个包含 168 个仿真任务的基准,源自 61 篇经典计算机图形学论文中的物理现象,涵盖 7 个物理领域。每个任务包含一个代码脚手架,为场景提供固定的仿真环境,求解器实现则留给智能体完成。具体而言,我们从三个维度评估它们:执行检查(能否成功执行)、视觉保真度(能否在渲染仿真中复现预期的动态行为)以及物理合理性(对生成动力学进行基于物理的验证)。在前沿智能体上的实验表明,生成可执行的求解器本身就很困难,满足视觉和物理正确性则更难。GPT-5.6-Sol 和 Claude-Opus-5 的表现相对优于其他受评估的智能体,但总体得分分别仅为 48.7% 和 46.7%。WorldSolver 是迈向智能体求解器生成的早期一步,我们希望它有助于推动智能体朝着能够忠实仿真动态物理世界的方向取得进展。代码可在 此 https URL 获取。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.08720 [cs.AI] |
| (或 arXiv:2610.08720v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.08720 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Siru Jiang [查看邮箱]
[v1]
2026年10月6日星期二 17:26:26 UTC(5,204 KB)
来源:arXiv cs.AI · arxiv.org