arXiv cs.CL· Leif Sieben, Yoel Zimmermann·· 3 天前AI 评分34
预训练真的让化学语言模型学会化学了吗？
Does Pretraining Teach Chemical Language Models Chemistry?
AI 导读
研究系统测试了一系列化学语言模型（CLM）在 64 个分子性质预测数据集上的表现，发现预训练带来的下游收益并不随规模增长，性能在梯度提升基线之下就饱和。只有基于传统理化描述符的监督预训练能稳定提升下游性能，部分预训练方式甚至让模型不如随机初始化编码器。模型虽能解析分子结构，但表现并不优于随机初始化模型，说明预训练至多学到类描述符性质与低层 token 统计，超出经典分子特征的化学知识出奇地少。
正文 · AI 翻译
摘要：化学语言模型（CLM）在大规模分子语料库上进行预训练，旨在学习能够迁移到各种下游任务的表示。在此，我们系统地研究了使用一系列此类 CLM 在 64 个分子性质预测数据集上进行预训练的效果。我们发现，CLM 中预训练带来的下游收益并不随规模增长，且性能在梯度提升基线以下趋于饱和。在所评估的各种设置中，只有基于传统物理化学描述符的监督预训练能持续提升所测试 CLM 的下游性能，而某些形式的预训练则导致模型比随机初始化的编码器更差。尽管模型能够很好地解析分子结构，但其表现并不优于随机初始化的模型，这表明 CLM 在预训练期间至多学到了类似描述符的性质以及低层次的 token 统计信息，但令人惊讶的是，除了经典分子特征已能捕捉的内容之外，它们学到的化学知识少之又少。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；化学物理（physics.chem-ph） |
| 引用为： | arXiv:2610.18651 [cs.LG] |
| （或 arXiv:2610.18651v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.18651 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yoel Zimmermann [查看邮箱]
[v1]
2026年10月13日星期二 16:14:35 UTC（555 KB）
[v2]
2026年10月14日星期三 17:58:29 UTC（555 KB）
来源：arXiv cs.CL · arxiv.org