LUMA：用轻量通用掩码适配器统一评测图像分割骨干网络

查看 PDF HTML（实验性）

摘要：比较用于图像分割的 transformer 主干网络会受到混杂因素干扰：每个主干网络都搭配了不同的解码器、训练配方和预训练，因此所报告的差异很少能反映主干网络本身。我们提出轻量通用掩码适配器（Lightweight Universal Mask Adapter，LUMA），这是一种轻量、与主干网络无关的掩码 transformer 头，它将任意主干网络视为黑盒特征提取器，让一组查询通过廉价的交叉注意力从其特征中读取信息。LUMA 在成本相当的情况下达到了 EoMT（当前最先进的高效 ViT 分割器）的精度，同时可原样附加到分层、卷积和混合专家主干网络上。在固定该头的前提下，我们在统一的现代配方下，于 ADE20K、COCO 和 Cityscapes 上对 20 个主干网络、11 种预训练方案以及一系列分辨率进行了基准测试。我们发现，“高效”的 token 混合器即使在促使它们出现的高分辨率下也无法实现高效，而普通 ViT 在每个分辨率下都保持吞吐量帕累托前沿。此外，决定分割质量的是预训练目标，而非架构——后者是该领域投入最多精力调优的杠杆。
代码：this https URL

Comments:	已被 WACV 2027 接收。v2：包含补充材料的最终定稿版本
Subjects:	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；性能（cs.PF）
MSC 分类号：	68T45
ACM 分类号：	I.2.10; I.5.0
引用为：	arXiv:2607.00687 [cs.CV]
	（或本版本使用 arXiv:2607.00687v2 [cs.CV]）
	https://doi.org/10.48550/arXiv.2607.00687 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Tobias Nauen [查看邮箱]
[v1] 2026年7月1日星期三 09:35:24 UTC（498 KB）
[v2] 2026年10月26日星期一 08:40:15 UTC（1,014 KB）