arXiv cs.AI· Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu·· 6 天前AI 评分22
CircuitLasso：面向大语言模型可解释性的可扩展电路学习方法
Scalable Circuit Learning for Interpreting Large Language Models
AI 导读
研究者提出 CircuitLasso，一种基于稀疏线性回归的可扩展电路学习方法，用于解释大语言模型。它在基准数据上的电路结构准确率与现有基于干预的 SOTA 方法相当，但计算成本大幅降低，并能高效揭示 SAE 特征之间的传播关系。该方法已被 EMNLP 2026 主会接收。
正文 · AI 翻译
摘要：机制可解释性中一个突出的研究方向是学习 LLM 组件上的稀疏电路，以揭示它们如何共同产生模型行为。然而，原始神经元具有多义性，使得学习到的电路难以解释。稀疏自编码器（SAE）特征缓解了这一问题，但其高维度使得现有的基于干预的电路学习方法在计算上难以承受。我们提出 CircuitLasso，一种基于稀疏线性回归的可扩展电路学习方法。CircuitLasso 恢复的电路在基准数据上的结构准确率与最先进的基于干预的方法相当，而计算成本仅为其一小部分。在可解释性方面，CircuitLasso 能高效地揭示 SAE 特征之间的关系，展示人类可解释的语义特征如何通过模型传播并影响其预测。最后，我们通过利用所学电路的洞见，在领域泛化任务上以显著更低的成本实现相当的性能，从而验证了所学电路的实用性。
| 评论： | 被 EMNLP 2026 主会议（2026 年自然语言处理经验方法会议）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.16939 [cs.LG] |
| （或使用 arXiv:2606.16939v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.16939 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Naiyu Yin [查看邮箱]
[v1]
2026 年 6 月 15 日星期一 16:40:43 UTC（996 KB）
[v2]
2026 年 10 月 9 日星期五 01:39:55 UTC（983 KB）
来源：arXiv cs.AI · arxiv.org