arXiv cs.AI· Daking Rai, Mor Geva, Ziyu Yao·· 3 天前AI 评分23
面向语言模型可解释性的数据驱动电路发现（DCD）
Data-driven Circuit Discovery for Interpretability of Language Models
AI 导读
研究提出数据驱动电路发现（DCD），在电路发现流程前加入分组步骤，用逐样本归因模式聚类（DCD-Cluster）将数据集划分为依赖相似机制的多个子集。作者先证明当数据集混合不同机制处理的任务时，现有电路发现会把多种机制合并为单一电路且保持与单独任务相当的忠实度，并在四个任务、三个模型上给出任务内机制多样性的证据。
正文 · AI 翻译
摘要：电路研究旨在通过定位和解释电路——即负责特定模型行为的计算子图——来说明语言模型（LM）如何实现一项任务。现有的电路定位方法在很大程度上是假设驱动的：它们通过数据集定义任务，假设任务中的所有示例都由同一机制实现，并应用电路发现来获得单一电路。这种工作流程没有考虑任务内部的机制多样性，即不同示例可能依赖不同机制。我们首先表明，当数据集混合了通过不同机制处理的任务时，当前的电路发现可以将这些机制组合成单一电路，同时保持与分别在各任务上发现的电路相当的信实度。在四项任务和三个模型上，我们进一步为单个任务内部的这种机制多样性提供了证据。为了考虑这种多样性，我们提出了数据驱动电路发现（DCD），它在电路发现工作流程中于发现步骤之前增加了一个分组步骤。分组步骤旨在将数据集划分为依赖相似机制的示例子集。我们通过在每个示例的归因模式上进行聚类来实例化该步骤（DCD-Cluster）。在四项任务和三个模型上，DCD-Cluster 将数据集分解为多个子集，其电路表现出不同的信实度模式，从而为示例之间的机制差异提供了有用的假设。
| 评论： | 57 页，49 幅图，36 张表，审稿中 |
| 主题： | 人工智能（cs.AI） |
| MSC 分类： | 68T07 |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2605.09129 [cs.AI] |
| （或 arXiv:2605.09129v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.09129 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Daking Rai 先生 [查看电子邮件]
[v1]
2026 年 5 月 9 日星期六 19:20:57 UTC（1,327 KB）
[v2]
2026 年 10 月 12 日星期一 13:49:33 UTC（761 KB）
来源：arXiv cs.AI · arxiv.org