arXiv cs.AI· Lucius Bushnaq, Dan Braun, Oliver Clive-Griffin, Bart Bussmann, Nathan Hu, Michael Ivanitskiy, Linda Linsefors, Lee Sharkey·· 2 天前AI 评分31
解读语言模型参数：VPD 对抗式参数分解方法
Interpreting Language Model Parameters
AI 导读
研究者提出对抗式参数分解（VPD），将语言模型参数拆解为仅实现模型学习算法一小部分的简单子组件，且只需少量子组件即可解释网络对任意输入的行为。该方法在大量子组件被消融（包括对抗性选择的消融）时仍能保持网络的输入输出行为，从而支持一种新的“电路”分析。论文共 124 页、47 张图，建议在线配合交互式图表阅读。
正文 · AI 翻译
摘要：机制可解释性旨在揭示神经网络如何利用其参数来实现其令人印象深刻的神经算法。尽管此前的工作已经揭示了网络所使用的中间表示中存在大量结构，但在理解网络的参数和非线性如何对这些表示执行计算方面进展甚微。在这项工作中，我们提出了一种方法，使我们更接近这一理解：将语言模型的参数分解为若干子组件，每个子组件仅实现模型所学算法的一小部分，同时仅需其中一小部分子组件即可解释网络在任何输入上的行为。该方法名为对抗性参数分解（adVersarial Parameter Decomposition，VPD），它优化将神经网络参数分解为简单子组件，即使许多子组件被消融，也能保持网络的输入-输出行为，包括在那些被对抗性选择以破坏行为的消融下。这鼓励学习能够提供网络行为的简短、机制上忠实的描述的子组件，这些描述应能适当地聚合为对网络所学算法的更全局描述。我们研究了这些参数子组件之间的交互序列如何在特定输入上产生网络的输出，从而实现一种新的“电路”分析。尽管要加深我们对神经网络如何利用其参数来计算其行为的理解仍有更多工作要做，我们的工作提出了一种方法，用于识别一小组简单的、机制上忠实的子组件，作为进一步机制分析的基础。
| 评论： | 124 页，47 幅图。本文旨在在线阅读，配有交互式图表，见 此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20748 [cs.LG] |
| （或 arXiv:2610.20748v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20748 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dan Braun [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 18:06:00 UTC（9,204 KB）
来源：arXiv cs.AI · arxiv.org