arXiv cs.AI· Amir Mohammad Karimi Mamaghan, Ferdinand Kapl, Andrea Dittadi, Karl Henrik Johansson, Kaitlin Maile, Johannes von Oswald, Stefan Bauer·· 3 天前AI 评分23
渐进式深度增长如何高效预训练自监督视觉 Transformer
Growing to See: Efficient Pretraining of Self-Supervised Vision Transformers
AI 导读
研究系统考察了渐进式深度增长在 MAE 和 DINOv3 两类自监督视觉 Transformer 中的效果：在全局与稠密任务上，该方法将训练 FLOPs 降低 13.9%–24.8%，ImageNet 线性探测准确率最高提升 3.36 个百分点。增长还改善了中间层表征，并重塑内部计算模式——MAE 中出现全局与局部注意力反复交替，自蒸馏 DINOv3 中局部到全局注意力的过渡提前出现。
正文 · AI 翻译
摘要：渐进式深度增长通过从浅层模型开始并在训练过程中插入层来构建大型网络。近期大语言模型的进展使这一长期方法重新受到关注，展示了其在训练效率和推理方面的优势，同时改变了内部计算。然而，在自监督视觉 Transformer 中，增长如何影响表征质量和计算模式仍不清楚。在这项工作中，我们系统地研究了两种流行的自监督系列——掩码自编码器（MAE）和 DINOv3——中的渐进式深度增长，并分析了增长如何影响下游性能、中间表征和内部计算。在全局和密集任务中，我们表明增长在将训练 FLOPs 减少 13.9--24.8% 的同时提升了下游性能，ImageNet 线性探测准确率最高提升 3.36 个百分点。增长还提升了中间层的下游性能，并重塑了内部计算模式，在 MAE 中引入了全局注意力和局部注意力之间反复交替，在自蒸馏 DINOv3 中则使局部到全局注意力的过渡更早出现。总之，这些发现确立了渐进式深度增长作为一种有效且高效的预训练策略，能够以更少的计算提升全局和密集视觉任务的下游性能，并推进了我们对增长如何塑造视觉计算的理解。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.16817 [cs.CV] |
| （或使用 arXiv:2610.16817v1 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.16817 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amir Mohammad Karimi Mamaghan [查看电子邮件]
[v1]
2026年10月12日星期一 14:01:13 UTC（4,756 KB）
来源：arXiv cs.AI · arxiv.org