arXiv cs.AI· Jan Rathjens, Shirin Reyhanian, David Kappel, Laurenz Wiskott·· 6 天前AI 评分24
通过逆向网络理解基于 Transformer 的视觉模型
Understanding Transformer-based Vision Models through Inversion
AI 导读
研究提出一种模块化的特征逆向方法，可从中间表征重建图像，计算效率更高且部分情况下语义更连贯。该方法应用于 Detection Transformer、Vision Transformer。
正文 · AI 翻译
摘要：理解深度神经网络的内部机制仍然是机器学习中的一个核心挑战。在计算机视觉中，一种有前景但仅被初步探索的方法是通过逆网络进行特征反演，即利用训练好的逆网络从中间表示重建图像。在本研究中，我们重新审视了通过逆网络进行特征反演，引入了一种新颖的模块化变体，使该技术能够以计算上更高效的方式应用，同时在某些情况下生成语义上更连贯的图像重建。我们将该方法应用于大规模基于 Transformer 的视觉模型，具体包括 Detection Transformer、Vision Transformer、Swin Transformer 和 Data-Efficient Image Transformer，并分析了随网络深度变化的重建结果。我们的主要分析比较了 Detection Transformer 和 Vision Transformer，它们在所评估的架构中展现出最具信息量的差异。同时，Swin Transformer 和 Data-Efficient Image Transformer 的结果支持了我们框架的更广泛适用性。我们的发现揭示了 Transformer 各层中逐渐的表征变化是 Detection Transformer 和 Vision Transformer 的共同特征，以及它们在保留上下文形状和细粒度图像细节方式上的系统性差异，以及它们对颜色扰动的鲁棒性差异。这些发现加深了对基于 Transformer 的视觉模型的理解，并展示了模块化特征反演作为可解释性工具的实用性。
| 评论： | 发表于 Transactions on Machine Learning Research (TMLR)，2026 年 9 月，可访问：此 https URL。代码可访问：此 https URL |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器学习 (cs.LG)；神经与进化计算 (cs.NE) |
| 引用为： | arXiv:2412.06534 [cs.CV] |
| （或 arXiv:2412.06534v5 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2412.06534 arXiv 颁发的 DOI 通过 DataCite |
|
| 期刊 参考： | Transactions on Machine Learning Research (TMLR), 2026, ISSN 2835-8856 |
提交历史
来自：Shirin Reyhanian [查看电子邮件]
[v1]
2024 年 12 月 9 日星期一 14:43:06 UTC (15,874 KB)
[v2]
2025 年 3 月 21 日星期五 11:50:06 UTC (44,654 KB)
[v3]
2025 年 3 月 25 日星期二 10:19:48 UTC (44,654 KB)
[v4]
2025 年 8 月 13 日星期三 18:10:14 UTC (46,234 KB)
[v5]
2026 年 10 月 9 日星期五 11:02:34 UTC (42,292 KB)
来源：arXiv cs.AI · arxiv.org