跳到正文
Hacker News· gmays·· 9 小时前精选AI 评分80

研究称 Claude 模型大规模训练过蛋白质序列

Claude was trained on protein sequences at scale

AI 导读

一项博客研究称,最新 Claude 模型在 668 个鲜有文献记载的细菌和古菌蛋白质上做下一个氨基酸预测,Claude Fable 5.2 在真实序列上准确率 54%、打乱序列后仅 9%,Claude Opus 5.5 分别为 34.9% 和 7.5%。

推荐理由

作者用打乱序列的对照实验区分模型是记住了序列顺序还是只学到氨基酸组成,方法本身可迁移到其他能力溯源。

正文 · AI 翻译

目录

最新的 Claude 模型在大规模蛋白质序列上进行了训练。给 Claude Fable 5.2 或 Claude Opus 5.5 一个鲜有研究的细菌蛋白质的开头,它们就能预测下一个氨基酸。把蛋白质打乱,它们就做不到。我们测试过的其他模型都无法做到这一点。与蛋白质语言模型一样,它们在更大的蛋白质家族上表现更好,而且即使在完全没有论文的家族中也能做到。Fable 5.2 击败了我们运行过的所有开源蛋白质语言模型,而 Opus 5.5 与其中最大的 ProtGPT3-10B 持平。

更新,2026 年 11 月 18 日。自第一版以来:

  • 训练截止日期之后发表的蛋白质。与 Leo Tianlai Chen 合作,56 个蛋白质于 2026 年 8 月首次公开,在 50% 同一性下没有更早的近亲。最新的 Claude 模型仍能预测它们(附录 G)。
  • 更多蛋白质语言模型。ProGen3-3B 是我们运行过的最强开源模型,而 Fable 5.2 仍然击败了它;Prot-xLSTM 见附录 C。
  • 更多 GPT 模型。GPT-6.2 Sol 和 Astra 也没有表现出这种迹象。

动机

前沿 LLM 在蛋白质任务上开始表现良好。Atharv Jayprakash 表明 GPT-6 Astra 对 SOD1 变体的排序与 ESM-2 一样好,PG-LLM 在许多蛋白质上也发现了同样的情况。这些模型是从 UniProt 等蛋白质序列数据库中学到的,还是从关于蛋白质的文字描述中学到的?

著名蛋白质无法区分两者:GFP 被印在无数论文中,大多数前沿模型都能背诵它。因此我们测试了几乎没有人写过的蛋白质。

方法:对鲜有研究的蛋白质进行下一氨基酸预测

我们给模型一个蛋白质的开头,并要求给出接下来的氨基酸。然后我们在同一蛋白质的打乱副本上再次提问。打乱保留了字母但破坏了它们的顺序,因此准确率的差异衡量了模型对序列本身了解多少。

百分比是 Claude Opus 5.5 在全部 668 个蛋白质上的准确率。真实行及其答案来自测试集;打乱行是示意性的。

测试集是来自 167 个功能未知的 Pfam 家族的 668 个细菌和古菌蛋白质。没有家族有已解析的结构或超过三篇论文,也没有蛋白质在 UniProt 中有近亲。每个蛋白质在五个点被切割。在每个切割点,模型写出接下来的 10 个氨基酸,我们评分第一个。思考处于最低设置。附录 E 有详细信息。

结果:只有最新的 Claude 模型能预测它们

实心点:聊天提示。空心点:FASTA 文本的原始下一 token 续写,通过补全端点或预填充回复,适用于允许的模型。

Fable 5.2 在真实蛋白质上 54% 的时间正确得到下一个氨基酸,在打乱的蛋白质上为 9%。这种差距几乎存在于每个家族中,而不仅仅是几个简单的家族。它出现在 Opus 4.7 中,在 Opus 5.5 中跃升,并在 Fable 5.2 中再次跃升。GPT、Gemini 和七个开放权重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)保持在接近零的水平,即使它们只是按照训练方式续写原始 FASTA 文本。最新的 Claude 模型还能写出其他模型很少能做到的连续正确残基(附录 B)。

与蛋白质语言模型的比较

蛋白质语言模型只从序列中学习,因此它们是天然的衡量标准。最接近 LLM 的是那些从左到右读取蛋白质并预测下一个残基的模型:ProtGPT3,其 100 亿参数版本是最大的开源版本;以及 ProGen3,其最大的公开版本有 30 亿参数。在相同输入下,Fable 5.2 以较大优势击败两者。Opus 5.5 与 ProtGPT3-10B 持平,低于 ProGen3-3B。

ESM 模型被训练为同时看到残基的两侧,因此对它们来说从左继续更难。附录 C 列出了全部九个模型。

证据表明这来自训练数据

如果模型是从序列中学习的,那么序列更多的家族应该更容易。为了在广泛范围内测试这一点,我们增加了 90 个较小的家族,每个家族最少 20 个蛋白质,总共 257 个家族。

确实如此。Opus 5.5 与两个仅用序列训练的蛋白质语言模型 ProtGPT3-10B 和 ProGen3-3B 一同上升。Fable 5.2 上升最快,并在每个家族约 300 个蛋白质时趋于平稳。较早的 Claude 模型在较低水平上升,而 GPT 和 Gemini 则接近零。这些知识也迁移到了训练截止日期之后发表的蛋白质上,且在此之前没有近亲(附录 G)。

另外两种解释不成立:

  • 论文。 在完全没有论文的 128 个家族中,两个模型的表现与在整个集合上一样好。
  • 推理。 大多数答案完全不涉及思考:API 报告 Fable 5.2 的答案中有 9% 使用了思考 token,Opus 5.5 为 36%。没有思考的答案同样准确。GPT-6 Astra 和 GPT-6.1 Sol 每个问题思考数百个 token,GPT-6.2 Sol 和 Astra 的回答与 Claude 一样简短,而四者都接近零。

著名蛋白质与变体排序

著名蛋白质则是另一回事。许多模型在这些蛋白质上表现良好,有几个能逐字母背诵数百个残基(附录 B),因为这些序列遍布论文和网络。在将著名和冷门蛋白质并排比较的第一轮中,Gemini 4 Carbon 在著名蛋白质上表现强劲,但在冷门蛋白质上几乎降至零。最新的 Claude 模型和 ProtGPT3-10B 保持住了水平,而 Fable 5.2 在两者上都是最强的。

这也解释了 SOD1 和 PG-LLM 的结果。对知名蛋白质的变体进行排序可以依赖关于它的已有文字:哪些残基被埋藏,哪些替换会破坏螺旋,哪些突变会导致 ALS。在 PG-LLM 中,准确率不依赖于比对深度,并随着更多思考而提高,这两者都是该路径的迹象。我们的测试将其排除在外。GPT-6 擅长第一类任务,在第二类任务上较弱;最新的 Claude 模型在两者上都擅长。

这意味着什么

最新的 Claude 模型了解几乎无人研究过的蛋白质家族。这需要大量序列数据,而不是少数示例:蛋白质序列是其训练的重要部分。Opus 5.5 的行为像蛋白质语言模型,而 Fable 5.2 超越了我们能运行的最好的模型。GPT 和 Gemini 没有表现出这一点。无论它们在训练中看到了什么蛋白质序列,都不足以学习这些家族。

DNA 则不同。Opus 5.5 能预测人类和小鼠的编码序列,但不能预测基因组其余部分,也几乎不能预测它所知蛋白质背后的细菌基因(附录 A)。它学到的是蛋白质,而不是基因组。

我们很好奇这些知识还能支持什么。Fable 5.2 在我们运行过的所有开放蛋白质语言模型中,对鲜有研究的蛋白质的预测效果最好,而蛋白质语言模型所承载的不仅仅是下一个残基的统计信息:ESM-2 的内部表示蕴含了足够多的结构信息,在其上叠加一个小型折叠模块就能预测 3D 结构(ESMFold),而且它们的概率可以对突变效应进行排序。Claude 能否以同样的方式折叠蛋白质,或对其变体进行排序?

代码与数据

所有代码、测试集、模型输出和图表都在 llm-bioseq-probe 中。

引用本文

@misc{tu2026bioseq,
  author = {Tu, Xinming and Chen, Leo Tianlai},
  title  = {Claude was trained on protein sequences at scale},
  year   = {2026},
  month  = nov,
  url    = {https://xinmingtu.cn/blog/2026/claude-opus-5-5-protein-sequences/},
  note   = {Blog post}
}

附录

A. DNA

220 个核苷酸窗口,展示 200 个、预测 20 个,来自 hg38、mm39 以及测试蛋白质背后的细菌基因,每个区域 500 个。非编码窗口不含重复序列,对照组对每个窗口进行打乱并保持其二核苷酸计数。Opus 5.5 在 500 个人类编码窗口中 25 次将全部 20 个核苷酸写对;盲猜做到这一点的概率约为万亿分之一。Gemini 4 Carbon 在回答前会拦截大多数 DNA 提示,因此未展示。

B. 更长的续写

全部 10 个残基正确。每个问题要求给出接下来的 10 个残基。在 668 个鲜有研究的蛋白质上,Claude Fable 5.2 在 88 个真实切割位点全部 10 个残基正确,Opus 5.5 在 12 个位点做到,而两者在任何打乱位点上均未做到。如果它们的残基是按各自逐残基准确率独立猜测的,那么偶然做到的概率分别为 15.8 次和 0.57 次。

连续正确。在打乱的蛋白质上,Fable 5.2 和 Opus 5.5 均未连续正确超过 3 个残基。一旦进入正轨,它们会更有把握:在正确一个残基后,Opus 5.5 下一个残基正确的概率为 47%,连续正确四个后为 68%。

背诵知名蛋白质。在知名蛋白质的 158 个位点上,要求每个模型一次性给出接下来的 200 个残基。

GPT-6.1 Sol 从未达到 100 个残基,GPT-5.5 从未超过 2 个。

C. 蛋白质语言模型

模型 读取方向 输入 真实 打乱 真实减打乱,百分点(95% CI)
ProGen3-3B 从左到右 切割位点之前的残基 43.7% 11.1% +32.5(29.3 至 35.7)
ProtGPT3-10B 从左到右 切割位点之前的残基 38.4% 10.7% +27.7(24.2 至 31.1)
ESM C 600M 两侧 切割位点之前的残基 24.1% 11.2% +13.0(10.7 至 15.2)
ProtGPT3-1.3B 从左到右 切割位点之前的残基 22.3% 10.7% +11.6(8.9 至 14.4)
ProtGPT2 从左到右 切割位点之前的残基 19.0% 8.8% +10.2(8.3 至 12.2)
ESM3-open 1.4B 两侧 切割位点之前的残基 19.6% 11.0% +8.5(6.4 至 10.7)
ESM-2 650M 两侧 切割位点之前的残基 17.3% 10.3% +7.0(5.2 至 8.9)
Prot-xLSTM 102M 从左到右 切割位点之前的残基 12.9% 10.3% +2.5(1.0 至 4.2)
ESM-2 650M 两侧 切割位点两侧的残基 45.7% 11.1% +34.6(31.8 至 37.3)

ProtGPT3-10B 答对的题目比 Opus 5.5 更多(38.4% 对 34.9%),但在打乱顺序的蛋白质上答对的也更多(10.7% 对 7.5%),因为它更了解氨基酸组成;两者之间的差距,也就是每个模型对顺序的了解程度,结果相同。Prot-xLSTM 的训练方式是先看一组同源序列,再读取一个蛋白质;在仅给出该蛋白质、如本文所述的情况下,它的表现接近零,不过在上下文中加入一个同源序列后,它在血红蛋白 β 上的表现从 14% 提升到 81%。最后一行是填空而非续写:ESM-2 还能看到切点之后的残基,而 LLM 从不会获得这些信息。每个模型都先通过了在知名蛋白质上的合理性检查。从左侧续写泛素和血红蛋白 β 时,ProGen3-3B 的残基正确率分别为 98% 和 87%,ProtGPT3-10B 为 100% 和 84%;在给出完整蛋白质并遮蔽一个残基时,ESM-2 在泛素上达到 80%,ESM C 和 ESM3-open 达到 100%。遮蔽是在 token id 上设置的,因为 ESM SDK 的“_”字符不是 ESM C 的遮蔽 token。ProtGPT2 使用多残基 token,因此一个残基的概率是以它开头的各 token 概率之和;ProGen3 和 ProtGPT3 每个残基使用一个 token。

D. 稳健性

  • 跨家族。 对 Fable 5.2,差距在 98% 的家族中为正;对 Opus 5.5 为 94%。
  • 家族规模。 在全部 257 个家族中,家族差距与其规模对数之间的 Spearman 相关系数对 Opus 5.5 为 0.50,对 ProGen3-3B 为 0.48,对 ProtGPT3-10B 为 0.46,对 Fable 5.2 为 0.38,对 Fable 5.1 和 Opus 4.7 至 5 为 0.30 至 0.48(所有 p < 10-6);对 Opus 4.5 和 4.6 约为 0。
  • 论文。 在完全没有相关论文的 128 个家族中,差距对 Fable 5.2 为 45.9 分,对 Opus 5.5 为 26.8 分;而在全部 167 个家族中分别为 45.1 和 27.4。对 Opus 5.5,在这些家族中差距仍随家族规模上升(Spearman 0.28,p = 0.001),且跨家族来看与论文数量无关(Spearman 0.05)。
  • 提示格式。 要求 Opus 5.5 先复制序列再续写,在同样的 400 道题上得到的差距与标准提示相同(12.0 对 12.0 分;该子集来自 10 个家族)。
  • 拒答。 非答案(Opus 5.5 为 0.1%)被排除;将其计为错误后,其差距变化不到 1 分。GPT-4o、DeepSeek、Qwen、Kimi、GLM 和 gpt-oss 常常拒绝猜测;采用最佳猜测提示后它们会作答,结果相同。
  • 无指令。 仅发送序列时,GPT-5.5 和 Opus 5.5 几乎总是描述它而非续写它(各在 400 道题的样本上),因此聊天模型需要指令。
  • Claude Fable 5。 Anthropic 的使用政策过滤器拦截了 Fable 5 的 44% 的问题,因此它未纳入主要数据。在它作答的问题上,其差距为 13.9 分;将拦截的问题计为错误得到 11.6,仅保留在真实和打乱蛋白质上均作答的切点得到 14.6,接近 Fable 5.1 的 14.9。Fable 5.1 和 5.2 被拦截的比例分别为 2.5% 和 0%。
  • 重复运行。 再次询问其中 400 道相同问题时,Fable 5.2 在真实蛋白质上得 57.5%,在打乱蛋白质上得 9.5%,而第一次分别为 57.5% 和 8.5%。
  • 首轮。 一个较小规模的运行,在 37 个家族上测试 25 个模型,一半知名一半冷门,给出了相同的图景,并确定了主运行的设计。

E. 方法

选择蛋白质。我们从所有名称中包含“未知功能结构域”(DUF)或“未知功能蛋白质”的 Pfam 家族出发,保留那些在 PDB 中没有结构、该家族登录号在 Europe PMC 中最多有 3 条命中、且至少包含 300 个成员蛋白质的家族。我们按规模将它们分箱(300 至 1,000 个蛋白质、1,000 至 3,000、3,000 至 10,000、超过 10,000),并从每个箱中随机抽取 50 个家族;超过 10,000 的家族只有 17 个符合条件,因此该集合共有 167 个家族。我们从每个家族中选取 4 个来自 UniProt 的蛋白质,这些蛋白质未经审核(TrEMBL)、来自细菌或古菌、长度为 120 至 800 个残基、仅使用 20 种标准氨基酸、不是低复杂度(香农熵高于每残基 3.9 比特),并且在其 UniRef90 簇中单独存在,因此没有其他 UniProt 蛋白质与它们有 90% 或更高的同一性。这样得到 668 个蛋白质。

更小的家族。对于家族规模测试,我们在三个更小的箱(20 至 60、60 至 150 和 150 至 300 个蛋白质)中各额外抽取了 30 个家族,采用相同的标准,每个家族选取 4 个蛋白质,总共 360 个蛋白质。每个模型获得与主集合相同的提示和评分。

切割。每个蛋白质在其 Pfam 结构域内(最长的结构域跨度,至少 40 个残基)随机选取 5 个位置进行切割,切割位置距结构域任一端至少 10 个残基,且切割前至少有 30 个残基:共 3,340 个切割。切割之前的所有内容为前缀;紧随其后的残基为答案。

提问。模型收到以下消息,其中前缀以每行 60 个字符的形式呈现(以下是一个测试蛋白质的示例):

Below is the beginning of a protein sequence in one-letter amino acid codes.
Predict how it continues. Reply with exactly the next 10 amino acids as
one-letter codes on one line, and nothing else.

>sequence
MRSGGQPLHPQPAHRFHYRTAARPRAAWILGCVLHLADAEEGARFWWQYAAGAGDDAAAY
CLYLHCLVLGDSYAAALWREQTSLDTPPHDFDDTSVPTVLRILSRLTPA

每个模型通过其自己的 API 运行,在可接受的情况下温度为 0,关闭思考或设置为最低档(对于 Opus 5.5 和 Fable 模型,为低努力,此时模型仍会决定是否思考),不使用工具,每个问题一个样本。Claude Fable 模型通过 OpenRouter 运行,因为 Anthropic 的 API 仅向保留数据的工作区提供这些模型。拒绝猜测的模型(GPT-4o、DeepSeek、Qwen、Kimi、GLM、gpt-oss)还获得了一个版本,其中添加了“即使不确定也给出你最好的猜测。不要解释或拒绝。”;这些运行单独标记。

思考。当 API 报告某回复的思考 token 时,该回复被视为进行了思考:Anthropic 的使用报告中为 thinking_tokens,OpenRouter 中为 reasoning_tokens。思考文本本身不被保留;只有可见的回复被评分。Fable 5.2 在 9% 的问题上进行了思考,Opus 5.5 为 36%,Fable 5.1 从未思考。在不思考的情况下,Fable 5.2 在真实蛋白质上的正确率为 54.7%,在打乱蛋白质上为 8.8%(思考时为 48.2% 和 10.6%),Opus 5.5 为 35.3% 和 6.9%(34.1% 和 8.6%)。

评分。我们读取回复中陈述的最后一个序列:一行连续的大写氨基酸字母,单独成行或位于诸如“Answer:”之类的标签之后,跳过单词、列表以及思考标签内的任何内容。如果它以重述前缀的结尾开始,则丢弃该重述。其第一个字母即为预测的下一个氨基酸。在长度限制处被截断的回复仅当其以序列开头时才计入。未陈述序列的回复被排除并计数(Opus 5.5 为 0.1%)。仅对第一个残基评分;完整的 10 个残基用于精确续写和连续片段。所有模型以及真实和打乱蛋白质均使用相同的读取器。

打乱对照。每个蛋白质的残基被打乱一次,随机种子由其登录号固定,并在打乱后的序列上询问相同的 5 个切割位置。打乱保留了整个蛋白质的组成并破坏了顺序,因此一个只知道哪些氨基酸常见的模型在两者上得分相同。

统计。对于每个家族,我们计算真实切割和打乱切割上正确首位残基的占比,并取差值(以百分点计)。模型的结果是该差距在 167 个家族上的均值。区间为对家族做 95% 自助法(10,000 次重采样),主要检验是对家族做单侧符号翻转置换检验,家族规模趋势为家族差距与其规模对数之间的 Spearman 相关。

原始续写。对于允许的模型,同一前缀在无任何指令的情况下发送,即文本“>sequence”后接 FASTA 行,通过纯补全端点(Fireworks 上的开放权重模型)或作为模型自身回复的开头(Gemini 2.5 Pro)。模型写出的第一个字母按上述方式评分。

蛋白质语言模型。它们获得相同的前缀且无提示。ProGen3、ProtGPT3、ProtGPT2 和 Prot-xLSTM 从左到右读取并给出下一个 token 的概率;ESM 模型看到前缀、代替下一个残基的掩码以及序列末尾。在所有情况下,预测均为 20 种标准氨基酸中最可能的一种。

API 总成本约为 730 美元,外加蛋白质语言模型几美元的 GPU 时间。

F. 过程中观察到的安全行为

Gemini 4 Carbon 直接拦截了约 75% 的 DNA 提示。OpenAI 在第一轮以可能的生物滥用为由拒绝了 23 个 GPT-6 请求,在主运行中拒绝了 17 个 GPT-6.1 Sol 请求,并拒绝了 GPT-6.2 Astra 主集问题的 6.6%(GPT-6.2 Sol:0.6%)。Claude Sonnet 4.5 拒绝了 97% 以蛋白质序列开始其回复的请求,Anthropic 的过滤器以网络内容为由拦截了 Claude Fable 5 的 44% 的问题。

G. 训练截止后发表的蛋白质

Leo Tianlai Chen 从 31 个家族构建了一组 56 个蛋白质,这些家族于 2026 年 8 月首次公开,晚于假定的 7 月 1 日训练截止日期,且在 50% 同一性及以上没有更早的近亲。模型不可能见过它们或任何接近的东西。两个 Claude 模型仍然能预测它们,Fable 5.2 领先于两个蛋白质语言模型,而 GPT-6.2 Sol 保持为零。每个模型的得分约为其在主集中相同家族上得分的一半,这对于如此远缘的蛋白质是预期的。最新 Claude 模型所学到的东西能迁移到家族的新成员上。

这些蛋白质在其来源处标注了日期,且没有一个在 50% 同一性及以上匹配更早的 UniRef50 簇。切割遵循主集的规则。仅有 56 个蛋白质时,只有约 14 个百分点或以上的差距才能被可靠检测,且 7 月 1 日截止日期是一个假设。

来源:Hacker News · xinmingtu.cn