综述：机制可解释性如何服务于 AI 安全
Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety
这篇综述围绕“理解模型内部机制是否真能让模型更安全”这一问题，系统梳理了机制可解释性研究。文章介绍特征、多义性、Transformer 计算与电路等基础概念，综述特征提取、电路发现与因果验证、用自然语言解释中间表示、学习动态和训练数据归因等方法，并提出一个统一框架来评估机制可解释性主张，按目标、假设与权衡划分六种研究取向。
作者：Fazl Barez、Tung-Yu Wu、Hunar Batra、Gabriele Dominici、Florent Draye、Yanai Elazar、Damiano Fornasiere、Antía García、Abir Harrasse、Riley Harris、Sara Hooker、Michael Lan、Belinda Z. Li、Aaron Maiwald、Narmeen Fatimah Oozeer、Naomi Saphra、Or David Shafran、Adi Simhi、Robert Trager、Shriyash Kaustubh Upadhyay、Ziyu Yao、Yu Zhao、Shay B. Cohen、Mor Geva、Yoshua Bengio、Stella Biderman、Hassan Sajjad
摘要：神经网络很可能成为人类历史上影响最为深远的人造产物之一。随着这些系统能力更强、自主性更高，其造成社会危害的潜在可能也随之增长，使 AI 安全成为我们这个时代的关键挑战之一。然而，我们仍在构建日益强大的系统，却并未完全理解它们如何运作、在陌生情境中会如何表现，或如何可靠地控制它们。机制可解释性通过研究系统的内部表征与计算，为理解这些系统提供了一条路径，其目标是评估、预测并控制行为。我们针对 AI 安全对机制可解释性进行综述，以回答这样一个问题：理解模型如何运作，真的能让它们更安全吗？我们将机制可解释性置于可解释性研究的更广阔背景中，并将其机制性证据与行为评估进行比较。我们介绍机制可解释性的基础，包括特征、多义性、Transformer 计算和电路，并综述特征提取与分析、电路发现与因果验证、用自然语言解释中间表征、学习动力学以及训练数据归因等方法。除综述现有方法外，我们提出了一个用于评估机制可解释性主张的统一框架，并依据目标、假设和权衡对六种研究方向进行刻画。最后，我们考察机制性理解如何支持 AI 安全，包括知识编辑、引导和监控，并评估其局限性、失效模式、开放问题以及与行为安全措施的关系。我们还发布了一个代码笔记本仓库，其中包含可复现所综述方法关键发现的工作示例，使读者能够通过动手实验建立直觉。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.08438 [cs.CL] |
| （或 arXiv:2611.08438v1 [cs.CL] 对应本版本） | |
| https://doi.org/10.48550/arXiv.2611.08438 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Tungyu Wu [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 18:30:54 UTC（3,892 KB）
来源：arXiv cs.CL · arxiv.org