arXiv cs.AI· Paarth Batra, Aryan Keluskar·· 1 天前AI 评分34
蛋白质语言模型在不变重标记下无法保持接触预测能力
Protein Language Models Fail To Capture Contact Predictions Under Invariant Relabeling
AI 导读
研究提出基于氨基酸字母表全局双射重标记的诊断框架，该变换保持列熵与成对编辑距离不变，Potts 模型和逆协方差估计器均不受影响，但蛋白质语言模型未能通过测试。在 ESM-2、MSA Transformer、AMPLIFY 等架构及 8M 至 3B 参数规模上，pLM 接触图在任意重标记下均崩溃，表明模型依赖显式的规范残基身份（“字母表锚定”）而非纯共进化统计。
正文 · AI 翻译
摘要：蛋白质语言模型（pLM）能够从单序列输入中生成高度准确的接触图。人们常常将这种准确性视为这些模型隐式学习了不变共进化统计量的证据，即提取了与 Potts 等经典基于比对的方法相同的信号。在本工作中，我们围绕氨基酸字母表的全局双射重标记引入了一个诊断框架。该变换对残基字母进行置换，同时保持所有比对层级信息、列熵和成对编辑距离不变。伪似然 Potts 模型和逆协方差估计器在该变换下保持不变，但 pLM 未能通过该测试。在多种架构（ESM-2、MSA Transformer、AMPLIFY）和模型规模（8M 到 3B 参数）下，pLM 接触图在任意重标记下崩溃。利用汉明距离对照和生化分组干预，我们试图分离出可能导致这种退化的原因，并发现这些模型依赖于显式的、规范的残基身份（“字母表锚定”），而非纯粹的共进化统计量。增大规模使模型对生化类别更加敏感，但其性能在重标记下仍然退化。我们的发现表明，pLM 与经典共进化模型在计算接触的方式上存在差距。更广泛地说，我们的工作展示了那些使经典模型可证明保持不变的诊断性扰动，如何能够揭示隐藏的表示偏差，并防止在生物建模中过度依赖神经黑箱。
| 评论： | 已被 NeurIPS 2026 的 ICBINB - AI 在生物学中的失效模式研讨会接收。15 页，6 张图 |
| 主题： | 定量方法 (q-bio.QM)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.16881 [q-bio.QM] |
| （或 arXiv:2611.16881v1 [q-bio.QM] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16881 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aryan Keluskar [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 14:45:07 UTC (3,318 KB)
来源：arXiv cs.AI · arxiv.org