arXiv cs.AI· Mateusz Praski, Jakub Adamczyk, Wojciech Czech·· 10 小时前AI 评分37
预训练分子嵌入模型基准测试：28 个模型在 25 个数据集上未能超越 ECFP 指纹
Benchmarking Pretrained Molecular Embedding Models For Molecular Representation Learning
AI 导读
一项研究在 25 个分类数据集上对比了 28 个预训练分子嵌入模型，采用分层贝叶斯 Bradley-Terry 统计检验，结果显示除 CheMeleon 外所有神经网络模型均未能超越经典 ECFP count 指纹，CheMeleon 是唯一被评为更优的模型。
正文 · AI 翻译
摘要：涵盖图神经网络、文本 Transformer 和混合架构的预训练分子嵌入模型已被广泛用于药物发现，但此前尚不存在对其表示的大规模、严格的比较。我们在受控框架下使用分层贝叶斯 Bradley-Terry 统计检验，评估了 28 个模型在 25 个分类数据集上的表现。除 CheMeleon 外，所有神经模型均未能优于经典的 ECFP 计数指纹；CheMeleon 是唯一被评为更优的模型。然而，基于骨架交叉验证和贝叶斯分层相关 t 检验在外部验证数据集上的进一步测试表明，两种嵌入方法均无明确优势。作为实用建议，我们建议在新的 QSAR/QSPR 研究中同时评估 ECFP 指纹和 CheMeleon 嵌入。总体而言，在所评估的所有神经网络背景下，这些结果也挑战了分子表示学习领域所认知的进展，并凸显了该领域对严格评估标准的需求。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.06199 [cs.LG] |
| （或 arXiv:2508.06199v5 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.06199 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mateusz Praski [查看电子邮件]
[v1]
2025年8月8日星期五 10:29:24 UTC（2,277 KB）
[v2]
2025年8月13日星期三 06:01:26 UTC（2,277 KB）
[v3]
2025年9月14日星期日 11:09:51 UTC（2,277 KB）
[v4]
2026年2月23日星期一 14:41:11 UTC（2,286 KB）
[v5]
2026年11月3日星期二 20:20:40 UTC（3,820 KB）
来源：arXiv cs.AI · arxiv.org