arXiv cs.AI· Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev·· 6 天前AI 评分26
ChemCost：评估 LLM 智能体的化学反应成本推理能力
Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning
AI 导读
研究者提出 ChemCost 基准，用 1,427 个可评估反应检验 LLM 智能体能否完成化学采购成本估算，覆盖 2,261 种化学品和 230,775 条供应商报价。最强智能体在干净输入下仅有 50.6% 的结果落在 25% 相对误差内，注入别名、数量表达等噪声后性能大幅下降。阶段级分析显示失败主要源于解析脆弱、证据整合低效、包装选择无效和工具使用不收敛。
正文 · AI 翻译
作者：Yuyang Wu、Yue Huang、Shuaike Shen、Xujian Wang、Shuhao Zhang、Qiyao Xue、Weichen Liu、Runtian Gao、Jian Ma、Xiangliang Zhang、Olexandr Isayev
摘要：大型语言模型（LLM）作为使用工具的智能体能力日益增强，其基准测试已覆盖多种通用智能体任务。然而，对科学工具使用的严格评估仍然有限。在化学领域，近期的智能体能够规划合成路线并调用领域专用工具，但评估往往依赖精心整理的演示、专家评估或 LLM 作为评判者的打分，而非精确、无需评判的基准真值。我们通过化学品采购成本估算来填补这一空白，这是一项实际任务，智能体必须根据反应描述确定化学身份、检索供应商报价、选择有效的可购买包装、归一化数量并计算成本。我们提出了 ChemCost，一个包含 1,427 个可评估反应的基准，其基于覆盖 2,261 种化学品和 230,775 条供应商报价的冻结价格快照，支持标量评分以及对身份确定、检索、采购和算术失败的分阶段诊断。为评估鲁棒性，我们进一步构建了受控的噪声注入视图，对化学别名、数量表达、缺失字段和输入格式进行扰动。对前沿、开放权重和化学专用 LLM 智能体的实验表明，工具访问是必要的，但不足以解决该任务。最强的智能体在干净输入上仅达到 50.6% 的准确率（相对误差在 25% 以内），并且在现实噪声下大幅下降。分阶段分析进一步表明，失败源于脆弱的解析、无效的证据整合、无效的包装选择以及不收敛的工具使用。
| 评论： | 9 页，5 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.07251 [cs.AI] |
| （或 arXiv:2605.07251v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.07251 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yuyang Wu [查看电子邮件]
[v1]
2026 年 5 月 8 日星期五 05:19:59 UTC（2,903 KB）
[v2]
2026 年 10 月 9 日星期五 04:18:27 UTC（2,900 KB）
来源：arXiv cs.AI · arxiv.org