arXiv cs.AI· Aotian Chen, Frazier N. Baker, Reza Averly, Shan Zhang, Tianao Chen, Daniel Adu-Ampratwum, Xia Ning, Yuan Xue·· 3 天前AI 评分26
ChemExplain：面向解释性化学推理的多模态基准
ChemExplain: A Multimodal Benchmark for Explanatory Chemical Reasoning
AI 导读
研究者推出 ChemExplain，一个从 383 篇同行评审论文中构建的 1180 道多选题化学基准，每题给出分子或反应图像、观测到的化学效应和四个候选解释，要求模型完成"解释性归因"。基准由多智能体框架自动构建并经八位化学领域专家验证，最强模型准确率为 78.6%；在 600 题专家复核子集上，该模型 71.4% 的错误被归类为归因失败。
正文 · AI 翻译
摘要：当前的化学基准主要评估结果预测或反应路径生成，但很少测试模型能否解释观察到的化学效应为何发生。我们提出 ChemExplain，一个包含 1,180 道多项选择化学题的基准，题目取自 383 篇同行评审论文。每道题将分子或反应图像与一个观察到的化学效应以及四个候选解释配对，每个解释对应图像中可见的不同结构特征。回答需要模型感知所描绘的结构、应用化学知识，并识别哪个特征最直接地解释该效应，我们将这一能力称为解释性归因。正确的特征-机制关系源自源论文中的支持证据，而非由题目生成 LLM 编造。我们使用多智能体框架自动构建该基准，该框架在三个阶段应用渐进式质量控制，并由八位化学领域专家进行验证。评估中最强的模型达到 78.6% 的准确率，仍有相当大的提升空间。在一个由专家审核的 600 题子集上，推理轨迹分析将最强模型 71.4% 的错误归类为归因失败。归因也是我们分析中包含的开源模型和化学专用模型的最大错误类别。
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.17183 [cs.AI] |
| （或使用 arXiv:2610.17183v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17183 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuan Xue [查看电子邮件]
[v1]
2026年10月12日星期一 17:53:56 UTC（4,960 KB）
来源：arXiv cs.AI · arxiv.org