arXiv cs.AI· Vincent Siu, Glenn Grant-Richards, Vlad Pavlovich, Yizhou Sun, Dawn Song, Chenguang Wang·· 10 天前AI 评分24
Transformer 拒答机制中的组件与维度稀疏性
Component and Dimension Sparsity in Transformer Refusal Mechanisms
AI 导读
研究将拒答激活引导分解为组件级干预，在四个开源权重模型中发现拒答方向集中在仅占上游组件 28–48% 的稀疏子集，仍保留 88–101% 的引导效果。在这些机制内部，有效引导进一步集中于约 50% 的残差流维度，保留组件机制基线的 85–98%。结果表明拒答并非弥散编码，而是由结构化、可识别的机制组装而成，代码与原始实验结果已公开。
正文 · AI 翻译
摘要：激活引导通过干预内部激活来操控大语言模型的行为，但这些干预的机制基础仍鲜为人知。我们将拒绝引导分解为四个开放权重模型上的组件级干预，识别出稀疏的注意力与 MLP 组件子集，其引导足以复现完整的行为效果。我们发现拒绝方向集中于稀疏的组件机制中，这些机制占上游组件的 28--48\%，并保留了 88--101\% 的引导有效性。在这些机制内部，有效的引导进一步集中于约 50\% 的残差流维度，保留了组件机制基线的 85--98\%，这与一种特权基结构相一致。因此稀疏性在两个层面上起作用：哪些组件被引导，以及这些组件内哪些维度承载信号。这些发现共同表明，拒绝并非弥散地编码在整个 transformer 中，而是由一种结构化、可识别的机制组装而成，为从机制上理解拒绝行为如何被表征和引导提供了基础。为便于复现，我们在 此 https URL 中发布了所有代码和原始实验结果。
| 评论： | 已被 COLM 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.06903 [cs.CL] |
| （或 arXiv:2610.06903v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06903 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vincent Siu [查看电子邮件]
[v1]
2026年9月30日星期三 23:32:40 UTC（5,599 KB）
来源：arXiv cs.AI · arxiv.org