跳到正文
arXiv cs.AI· Aaron Maiwald, Roderick McNeill, Jaeyoung Lee, Matthew A. Clarke, Lennart Justen, Alejandro Acelas, Ivo Andrews, Giles Harper-Donnelly, Adam Moore, Sophie Rose, Oliver M. Crook, Felix Jackson·· 10 小时前AI 评分50

研究:蛋白质语言模型预训练数据过滤的有效性与持久性

The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models

AI 导读

研究以 ESM-2 系列蛋白质语言模型为对象,考察从预训练数据中过滤病毒蛋白的效果。结果显示,过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现,而非病毒蛋白性能基本保持;影响集中在感染人类的病毒蛋白上,并随模型从 8M 扩展到 3B 参数而增强,模型越大严格过滤越有效。但用被移除病毒家族的序列做微调即可恢复损失的性能,即使最大模型也只需约 80 美元的 H100 算力。

正文 · AI 翻译

作者:Aaron Maiwald、Roderick McNeill、Jaeyoung Lee、Matthew A. Clarke、Lennart Justen、Alejandro Acelas、Ivo Andrews、Giles Harper-Donnelly、Adam Moore、Sophie Rose、Oliver M. Crook、Felix Jackson

查看 PDF HTML(实验性)

摘要:预训练过滤是开放权重语言模型最常见的防护措施之一。本文使用 ESM-2 蛋白质语言模型家族研究其有效性、持久性和可扩展性。我们发现,从预训练数据中过滤病毒蛋白会显著降低模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测性能,同时基本保持其在非病毒蛋白上的性能。这些影响集中在感染人类的病毒蛋白上,并且随着模型规模从 8M 扩展到 3B 参数而增大。随着模型规模增大,我们发现严格过滤变得更加有效。然而,在被移除的病毒家族序列上进行微调可以恢复损失的性能。尽管恢复性能的成本随模型规模增加而上升,但即使对最大的模型,也只需约 80 美元的 H100 机时。这项工作表明,预训练过滤在选择性降低病毒蛋白性能方面具有中等效果,但在拥有适度计算资源和相关数据的情况下,无法抵御微调。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2610.26651 [cs.LG]
  (或本版本的 arXiv:2610.26651v2 [cs.LG])
  https://doi.org/10.48550/arXiv.2610.26651

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jaeyoung Lee [查看电子邮件]
[v1] 2026年10月19日星期一 16:08:59 UTC(962 KB)
[v2] 2026年11月18日星期三 04:18:12 UTC(1,224 KB)

来源:arXiv cs.AI · arxiv.org