arXiv cs.AI· Johann Schmidt, Sebastian Stober, Joachim Denzler, Paul Bodesheim·· 10 小时前AI 评分22
PPS：面向细粒度分类的即插即用扫视视觉方案
PPS: Plug-and-Play Saccadic Vision for Fine-Grained Classification
AI 导读
研究者提出 PPS，一种即插即用的轻量扩展，可将任意带空间特征图的预训练骨干网络改造为扫视式分类器，仅新增一个优先级头和一个交叉注意力融合块。该方法用同一权重共享编码器处理降采样外周视图，由优先级头预测扫视优先级分布并并行编码高分辨率局部裁剪，复杂度随扫视次数线性增长，峰值内存与输入分辨率解耦。在九个基准上，该框架相对其骨干网络均取得一致提升。
正文 · AI 翻译
摘要：细粒度视觉分类受益于高分辨率输入，以分辨细微的局部线索，但代价是大量的计算和内存开销。受人类扫视视觉的启发，我们提出了一种轻量级扩展，通过 glimpse 诱导推理将任何具有空间特征图的预训练骨干网络转变为扫视分类器。唯一的架构新增是一个小型优先级头和一个单一的交叉注意力融合块。同一个权重共享编码器编码下采样的周边一瞥，暴露空间特征图，优先级头据此预测 glimpse 优先级分布，并并行地重新编码从该分布中采样的高分辨率 glimpse 裁剪。一个带有非极大值抑制的顺序采样器抽取运行时可配置数量的 glimpse。然后，一个残差多头交叉注意力块将一瞥与 glimpse 融合。为了提高优先级图的质量，我们通过来自轻量级每图像记忆库的每 glimpse 信息增益目标来训练优先级头。这不需要强化学习。复杂度与 glimpse 数量呈线性关系，峰值内存与输入分辨率解耦。在九个基准测试中，我们的框架始终优于其骨干网络。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2509.15688 [cs.CV] |
| （或 arXiv:2509.15688v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.15688 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Johann Schmidt johSchm [查看电子邮件]
[v1]
2025年9月19日星期五 07:03:37 UTC（11,385 KB）
[v2]
2026年10月29日星期四 20:00:22 UTC（14,978 KB）
来源：arXiv cs.AI · arxiv.org