研究:过滤病毒蛋白削弱蛋白质模型,微调可恢复
热点事件持续更新
研究:过滤病毒蛋白削弱蛋白质模型,微调可恢复
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Aaron Maiwald 等作者以 ESM-2 系列蛋白质语言模型为对象,研究从预训练数据中过滤病毒蛋白的效果。结果显示,过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现,而非病毒蛋白性能基本保持;影响集中在感染人类的病毒蛋白上,并随模型从 8M 扩展到 3B 参数而增强,模型越大严格过滤越有效。 但研究称,用被移除病毒家族的序列做微调即可恢复损失的性能,即使最大模型也只需约 80 美元的 H100 算力。
AI 根据报道生成 · 53 分钟前更新
最新进展11月20日 13:00
研究:蛋白质语言模型预训练数据过滤的有效性与持久性报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI研究:蛋白质语言模型预训练数据过滤的有效性与持久性
研究以 ESM-2 系列蛋白质语言模型为对象,考察从预训练数据中过滤病毒蛋白的效果。结果显示,过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现,而非病毒蛋白性能基本保持;影响集中在感染人类的病毒蛋白上,并随模型从 8M 扩展到 3B 参数而增强,模型越大严格过滤越有效。但用被移除病毒家族的序列做微调即可恢复损失的性能,即使最大模型也只需约 80 美元的 H100 算力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。