跳到正文
热点事件持续更新

研究:过滤病毒蛋白削弱蛋白质模型,微调可恢复

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Aaron Maiwald 等作者以 ESM-2 系列蛋白质语言模型为对象,研究从预训练数据中过滤病毒蛋白的效果。结果显示,过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现,而非病毒蛋白性能基本保持;影响集中在感染人类的病毒蛋白上,并随模型从 8M 扩展到 3B 参数而增强,模型越大严格过滤越有效。 但研究称,用被移除病毒家族的序列做微调即可恢复损失的性能,即使最大模型也只需约 80 美元的 H100 算力。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    研究:蛋白质语言模型预训练数据过滤的有效性与持久性

    研究以 ESM-2 系列蛋白质语言模型为对象,考察从预训练数据中过滤病毒蛋白的效果。结果显示,过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现,而非病毒蛋白性能基本保持;影响集中在感染人类的病毒蛋白上,并随模型从 8M 扩展到 3B 参数而增强,模型越大严格过滤越有效。但用被移除病毒家族的序列做微调即可恢复损失的性能,即使最大模型也只需约 80 美元的 H100 算力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。