arXiv cs.AI· Amiri Hayes, Belinda Z Li, Jacob Andreas·· 10 天前AI 评分30
用程序合成解释注意力：GPT-2、TinyLlama-1.1B 与 Llama-3B 注意力头可被 Python 程序替代
Explaining Attention with Program Synthesis
AI 导读
研究者提出用程序合成近似 Transformer 语言模型注意力头行为的方法：先计算注意力矩阵，再让预训练语言模型生成可复现注意力模式的 Python 程序并重排序。
正文 · AI 翻译
摘要：可解释深度学习研究的一个长期目标是用人类有意义的符号描述来替代不透明的神经计算。在本文中，我们提出了一种用可执行程序近似深度网络组件行为的方法。我们关注 transformer 语言模型中的注意力头。对于给定的注意力头，我们首先在一组随机选择的训练样本上计算其关联的注意力矩阵。接下来，我们用这些矩阵的摘要提示一个预训练语言模型，并指示它生成一组 Python 程序，这些程序仅根据输入句子的文本就能重现关联的注意力模式。最后，我们根据最终程序集在留出输入上预测行为的效果对程序重新排序。我们证明，不到 1,000 个此类生成的程序即可重现 GPT-2、TinyLlama-1.1B 和 Llama-3B 中注意力头的注意力模式，在 TinyStories 上达到平均超过 75% 的交并比相似度。此外，最佳拟合程序可以在不显著影响模型行为的情况下替换神经注意力头：在三个模型中将 25% 的注意力头替换为程序化替代物，平均困惑度仅增加 16%，同时在各种下游问答基准上保持性能。这项工作贡献了一个可扩展的流程，使用人类可读的可执行代码逆向工程 transformer 模型中的注意力头，推进了神经模型走向符号透明性的道路。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.19317 [cs.LG] |
| （或 arXiv:2606.19317v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.19317 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Amiri Hayes [查看电子邮件]
[v1]
2026年6月17日星期三 17:40:55 UTC（644 KB）
[v2]
2026年6月29日星期一 15:31:17 UTC（644 KB）
[v3]
2026年10月6日星期二 05:46:25 UTC（790 KB）
来源：arXiv cs.AI · arxiv.org