arXiv cs.AI· Michael Schroeder·· 10 小时前AI 评分18
EfficientNet-B0 实验揭示全局注意力与权重共享在紧凑视觉骨干网中的有效位置
Where Global Context and Weight Sharing Work in Compact Vision Backbones
AI 导读
研究者在 ImageNet-1k 上用受控 EfficientNet-B0 实验定位全局自注意力的有效插入点:在 P3(28x28 窗口化)、P4(14x14 全局)、P5(7x7 全局)加入零门控残差自注意力适配器可达 74.02%,比逐位匹配的纯 B0 对照高 0.954 个百分点,且注意力幅度随语义深度单调上升(27.2%→45.4%→66.3%)。
正文 · AI 翻译
摘要:EfficientNet 等紧凑型卷积骨干网络通过局部深度可分离卷积实现了较强的参数效率,但混合设计中仍有两个结构性问题处于核心位置:全局自注意力在何处能比纯卷积提升识别性能,以及重复模块能否在不损失表示能力的情况下共享权重?我们使用受控的 EfficientNet-B0 实验,在 ImageNet-1k(50,000 张图像验证集)上研究了这两个问题。首先,我们表明,将分类骨干网络包裹在多尺度特征金字塔(BiFPN)中,在搭配阶段注意力(73.15%)之前,无法超越普通 MBConv 主干(69.99% - 71.81% 对普通 B0 的 72.86%)。相比之下,保持 MBConv 主干不变,并在 P3(28x28 窗口化)、P4(14x14 全局)和 P5(7x7 全局)阶段插入轻量级零门控残差自注意力适配器,单独使用时达到 74.02%,并在 88 个 epoch 的无状态重放调度中,比逐位匹配的普通 B0 对照高出 +0.954 个百分点(73.88% 对 72.92%),且学习到的注意力幅度随语义深度单调上升(P3 处 27.2% -> P4 处 45.4% -> P5 处 66.3%)。其次,我们评估了在重复 MBConv 模块之间进行循环权重共享,并使用各次传递特定的 BatchNorm 统计量(每次传递 +1,536 个参数)。虽然事后卷积核平均会将准确率降至 17.03%,且单模板阶段绑定(-27.6% 参数)在 66.10% 处趋于平稳,但在 Stage 6 中交替使用两个共享模块模板([B1, A, B, A])可将模型总参数减少 10.9%(582K 权重),并在单个 epoch 内恢复 +10.82 个百分点至 70.92%(相比不共享的对照低 1.84 个百分点)。
| 评论: | 8 页,5 幅图 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23446 [cs.CV] |
| (或此版本的 arXiv:2611.23446v2 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2611.23446 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Michael Schroeder [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 19:49:55 UTC(101 KB)
[v2]
2026 年 11 月 19 日星期四 14:28:24 UTC(102 KB)
来源:arXiv cs.AI · arxiv.org