arXiv cs.AI· Bohan Liu, Xiaohan Fan, Wenqian Ye, Aidong Zhang·· 12 小时前AI 评分31
用稀疏自编码器追踪并验证 ESMFold 主干中的折叠机制
Structure, Not Sequence: Tracking and Validating Folding Mechanisms in ESMFold's Trunk with Sparse Autoencoders
AI 导读
研究用稀疏自编码器（SAE）解释 ESMFold 折叠主干的内部计算，发现单表示承载继承的语义、配对表示计算成对几何。团队用推理语言模型大规模解读字典，并通过梯度归因追踪概念跨块组合，验证计算与已知生物化学的一致或偏离之处。这些稀疏字典捕捉到主干在序列模型之外计算的关系几何，其概念激活还能预测模型自身的折叠质量。
正文 · AI 翻译
摘要：ESMFold 等结构预测器利用神经网络计算来折叠蛋白质，已经改变了结构生物学。然而，从氨基酸（AA）序列到 3D 结构的驱动机制尚未被充分理解，生物学意义仍被锁在稠密网络中。稀疏自编码器（SAE）在蛋白质序列模型中间表示的超完备基上获取可解释的概念特征方面已显示出有前景的结果。然而，从 AA 序列语义预测物理形状的折叠模型尚无此类解释。我们假设，承载折叠计算的特征是在 3D 结构回归过程中演化出来的。本文分三步解释折叠主干。首先，对跨模块和循环的表示分布进行初步分析，定位主干中不同的空间计算。其次，字典揭示了分工：单一表示承载继承的语义，配对表示计算成对几何。第三，我们用推理语言模型在大规模上解释字典，通过基于梯度的归因追踪概念如何跨块组合，并沿着被解释的代码追踪到模型的折叠输出，验证计算在何处与已知生物化学一致或偏离。总之，我们训练的稀疏字典捕捉了主干在序列模型之外计算的关系几何，其概念激活可预测模型自身的折叠质量，将黑箱折叠主干转变为稀疏、可解释且科学上可验证的电路。
| 学科： | 定量方法（q-bio.QM）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36226 [q-bio.QM] |
| （或本版本的 arXiv:2610.36226v1 [q-bio.QM]） | |
| https://doi.org/10.48550/arXiv.2610.36226 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bohan Liu [查看邮箱]
[v1]
2026年10月26日星期一 20:04:57 UTC（1,204 KB）
来源：arXiv cs.AI · arxiv.org