跳到正文
arXiv cs.CL· Eliza Berman, Rohan Subramanian, Shreya Jha, Lohit Jagarapu, Romain Lopez, Rajesh Ranganath·· 9 小时前AI 评分31

Solver2System:评估 LLM 在科学仿真中跨表示与执行推理的 PDE 求解器数据集

Solver to System: LLM Reasoning Across Representations and Execution in Scientific Simulation

AI 导读

研究者提出 Solver2System,一个包含多表示、受控损坏与词法扰动的 PDE 求解器数据集,用于评估 LLM 能否通过跨表示一致性和静态/智能体检测识别物理无效性。在八个开源权重模型上,LLM 在证据冲突时系统性偏好某些表示,对代码的词法扰动会改变其对其他未变表示的解释。执行能提升物理有效性判断,但较弱智能体可在未识别因果缺陷的情况下给出正确判断。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于偏微分方程(PDE)的模拟器被广泛用于建模物理系统,但利用大语言模型(LLM)生成和解读 PDE 求解器代码仍具挑战性。科学模拟代码是检验 LLM 科学推理能力的有用测试平台,原因在于:(1)同一系统可由代码、方程、自然语言和数值轨迹等多种形式表示;(2)代码可以成功执行,却实现了无效的物理。我们推出 Solver2System,这是一个包含多种表示形式、受控损坏和词汇扰动的 PDE 求解器数据集,用于评估 LLM 能否通过(1)跨表示一致性以及(2)对物理无效性的静态与智能体检测,来还原底层的物理系统。在八个开放权重模型中,当证据冲突时,LLM 会系统性地偏好某些表示形式;而对代码的词汇扰动会改变对其他未改动表示形式的解读。执行有助于提升物理有效性判断,但较弱的智能体可以在未识别出因果缺陷的情况下做出正确判断。因此,尽管表示形式之间的协调不一致或存在因果误诊,LLM 仍可能得出正确判断。
评论: NeurIPS 2026 Workshop: Sim2Science: ML with Imperfect Scientific Models。23 页,14 幅图,9 张表
主题: 机器学习(cs.LG);计算与语言(cs.CL)
引用为: arXiv:2611.21964 [cs.LG]
  (或 arXiv:2611.21964v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21964

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Eliza Berman [查看邮箱]
[v1] 2026 年 11 月 16 日星期一 22:47:37 UTC(5,060 KB)

来源:arXiv cs.CL · arxiv.org