跳到正文
arXiv cs.AI· Zecheng Hao, Zihan Huang, Shenghao Xie, Jiyuan Zhang, Zhaofei Yu, Tiejun Huang·· 10 小时前AI 评分24

AdaS-ViT:面向脉冲视觉 Transformer 的超高能效测试时自适应路由

AdaS-ViT: Test-Time Adaptive Routing for Spiking Vision Transformers with Ultra-High Energy Efficiency

AI 导读

AdaS-ViT 是一种面向脉冲视觉 Transformer 的测试时自适应路由架构,通过 AdaE-IF 依据每个脉冲 token 的注意力分数,将显著区域路由到细粒度脉冲模式、其余区域采用低能耗粗粒度模式。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:脉冲神经网络(SNN)有望实现事件驱动且高能效的视觉,然而现有的脉冲视觉 Transformer(S-ViT)在很大程度上将脉冲 token 限制在沿时间、空间和通道维度的固定且统一的发放方案上,而要抑制由此产生的计算冗余,则需要在测试时在所有三个轴上联合运行的自适应发放机制。为此,我们提出了自适应高效积分发放(AdaE-IF)模型,该模型参考每个脉冲 token 的注意力分数,将显著区域路由到细粒度发放模式,同时为其余区域分配节能的粗粒度模式。在 AdaE-IF 的基础上,我们进一步引入了脉冲门控自注意力(S-GSA)和脉冲局部门控单元(S-LGU),它们在 token 和通道粒度上强制执行选择性脉冲发放。我们将上述机制和模块集成到 AdaS-ViT 中,这是一种测试时自适应路由架构,采用渐进式时空课程训练,以稳定发放精度与路由掩码的协同适应。在涵盖多种数据规模和模态的基准上进行的广泛实验表明,AdaS-ViT 始终取得极具竞争力的性能。值得注意的是,在 ImageNet-1k 上,它每张图像仅消耗 1.02 至 2.45 毫焦耳,并达到 32$\times$ 至 72$\times$ 的精度能耗比,在经济型推理机制下运行,从而进一步推动了能效边界。
主题: 神经与进化计算(cs.NE);人工智能(cs.AI);计算机视觉与模式识别(cs.CV)
引用为: arXiv:2611.23728 [cs.NE]
  (或 arXiv:2611.23728v1 [cs.NE] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23728

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Zecheng Hao [查看电子邮件]
[v1] 2026年11月18日星期三 02:40:45 UTC(462 KB)

来源:arXiv cs.AI · arxiv.org