arXiv cs.CL· Shariar Kabir, Hong Kiat Tan, Swastik Agrawal, Sai V R Chereddy, Sriram Balasubramanian·· 10 小时前AI 评分31
Circuit Oracle：用自然语言查询自动分析归因图
Circuit Oracle: Automating Attribution Graph Analysis via Natural-Language Queries
AI 导读
Circuit Oracle 是一个配备多智能体框架和任务专用技能的现成 LLM，通过工具调用读取归因图来回答关于目标模型的自然语言问题。在虚假特征检测任务上达到 78.2 ± 2.4% 准确率，优于单层特征排序基线；但在秘密引出任务上不及 Activation Oracles，在 50 条提示的拒绝抑制任务上单次干预略低于 diff-in-means 基线。
正文 · AI 翻译
摘要：归因图是机制可解释性领域的一种新兴工具，它使用转码器将语言模型的计算分解为稀疏的可解释特征，这些特征之间由因果边相连。然而，要将一张图转化为与安全相关的洞见，需要专家进行数小时的人工分析。我们提出 Circuit Oracle，这是一个现成的 LLM，配备了多智能体框架和针对特定任务编写的技能，它通过工具调用读取归因图，从而回答关于目标模型的自然语言问题。我们在三个与安全相关的代理任务上对其进行评估：检测探针电路中的虚假特征、从禁忌微调模型中引出隐藏知识，以及通过特征级干预进行抑制越狱。除任务得分外，该 oracle 还会生成剪枝子图和特定上下文的特征解释，我们对其进行了定性评估。结果好坏参半。在虚假特征检测上，Circuit Oracle 达到 78.2 $\pm$ 2.4% 的准确率，优于单层特征排序基线。在秘密引出上，Activation Oracles 等经过训练的自解释器仍是更强的基线。在 50 条提示上的拒绝抑制中，其单次确定的干预略低于 diff-in-means 基线，只有在允许五次尝试中取最佳时才超过该基线。结果在五次运行以及智能体的不同模型选择下均保持稳定。我们还发布了剪枝子图和特定上下文的特征解读，这些内容修正了现有的全局标签，并邀请未来工作开发能够直接衡量其有用性的评估方法。
| 评论： | ICML 2026 机制可解释性与组合学习研讨会上展示的论文的扩展版本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00420 [cs.CL] |
| （或 arXiv:2611.00420v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00420 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shariar Kabir [查看邮箱]
[v1]
2026年10月30日星期五 22:12:53 UTC（1,335 KB）
来源：arXiv cs.CL · arxiv.org