arXiv cs.CL· Yanyi Su, Yu Zeng, Hongshuai Wang, Chenyan Wang, Zhifeng Gao, Xiaohui Yang·· 3 天前AI 评分30
超越基准准确率：面向 LLM 化学预测的诊断性测试
Beyond Benchmark Accuracy: A Diagnostic Test for LLM Chemical Prediction
AI 导读
研究者提出 Identity-Blinded Reasoning Diagnostic 框架，在隐藏目标实体身份信息、仅以已知源实体加显式结构编辑操作定义目标的条件下评测化学预测模型。
正文 · AI 翻译
摘要：LLM 在化学预测基准上取得了强劲表现。然而，现有评估方法通常直接提供目标实体身份信息，这使得难以判断模型预测是源于可迁移的结构-性质推理能力，还是依赖于与目标相关的上下文信息或记忆检索。我们提出身份盲化推理诊断框架，用于在目标实体身份信息被隐藏时评估化学预测模型。在该框架中，目标不再由其实体身份直接定义，而是由已知源实体和显式的结构编辑操作定义。这一设定保留了确定目标所需的信息，同时减少了模型获取目标身份线索的机会。我们在涵盖气味预测、分子性质预测、逆合成和反应产率预测的六项任务上评估该框架。结果表明，当源实体与目标实体性质一致时，模型通常能取得更好的预测性能。提供显式的源实体标签进一步强化了这种依赖。此外，在保持目标实体、结构变化和真实标签不变的情况下，仅替换源实体标签就会使部分模型的预测系统性地向被替换的源标签偏移。这些结果表明，化学预测任务中的高基准准确率并不一定意味着 LLM 具备可靠的结构-性质推理能力。我们的诊断框架提供了一种受控评估方法，用于检验模型能否真正根据实体变化更新预测。该框架可扩展到其他 AI for Science 任务，特别是那些目标可通过已知实体的变换来定义的任务。
| 评论： | 正在 ICLR 2027 审稿中 |
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19906 [cs.CL] |
| （或 arXiv:2610.19906v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19906 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yanyi Su [查看邮箱]
[v1]
2026年10月14日星期三 10:03:05 UTC（5,934 KB）
来源：arXiv cs.CL · arxiv.org