arXiv cs.AI· Piotr Jedryszek, Oliver M. Crook·· 4 小时前AI 评分26
Boltz-1 稀疏自编码器的高效自动可解释性研究
Towards Efficient Auto-Interpretability of Boltz-1 Sparse Autoencoders
AI 导读
研究提出一套统一流程评估稀疏自编码器潜变量是否连贯、可描述且具预测力,在 Boltz-1 Pairformer 主干上通过跨种子字典稳定性优先筛选,每次潜变量评估减少约 4.4 倍、实测 LLM 成本降低 5.2 倍,并找回超过一半的可解释潜变量。但 LLM 评判器明显偏向一致的残基身份,一个按氨基酸身份精度筛选的简单过滤器反而优于稳定性阈值法,且无需额外 SAE 种子。
正文 · AI 翻译
摘要:稀疏自编码器(SAE)可以通过解释 AI 模型超越人类的能力,将生物学及其他领域的 AI 模型转变为科学发现的引擎。我们假设,一个潜在变量如果满足以下三点,就是有用的:它是否连贯、它是否可以被描述,以及该描述是否具有预测能力。这些问题经常被混为一谈。我们将它们整合到一个统一的流程中,并报告了一些实用创新。首先,跨种子字典稳定性优先决定哪些潜在变量值得投入资源进行研究。其次,一个入侵者检测任务询问某个潜在变量的激活示例是否共享可识别的模式。第三,一个单独的步骤提出候选生物学描述,我们将其转化为可在计算机上测试的可证伪预测。部署在 Boltz-1 Pairformer 主干上时,稳定性优先排序在每次潜在变量评估约减少 4.4 倍、实测 LLM 成本降低 5.2 倍的情况下找到可解释的潜在变量,同时恢复其中超过一半。然而,我们注意到在我们的设置中,LLM 评判器严重偏向于一致的残基身份,而一个简单的过滤器——选择具有高氨基酸身份精度的特征——优于稳定性阈值方法。这种更简单的方法还有一个额外好处:不需要额外的 SAE 种子,但仍不确定它反映的是真正有用的启发式方法,还是 LLM 评判器的局限性。
| 学科: | 定量方法(q-bio.QM);人工智能(cs.AI) |
| 引用为: | arXiv:2608.27754 [q-bio.QM] |
| (或此版本的 arXiv:2608.27754v2 [q-bio.QM]) | |
| https://doi.org/10.48550/arXiv.2608.27754 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Piotr Jedryszek [查看电子邮件]
[v1]
2026年8月27日星期四 22:32:43 UTC(169 KB)
[v2]
2026年11月16日星期一 21:33:26 UTC(206 KB)
来源:arXiv cs.AI · arxiv.org