UnSAMv2：自监督学习实现任意粒度分割一切

查看 PDF HTML（实验性）

摘要：Segment Anything Model（SAM）系列已成为广泛采用的视觉基础模型，但其控制分割粒度的能力仍然有限。用户通常需要手动细化结果——通过添加更多提示或从预生成的掩码中进行选择——以达到所需的细节水平。这一过程可能存在歧义，因为同一提示可能对应多个合理的掩码，而在所有粒度上收集密集标注的成本高得令人望而却步，使得监督式解决方案不可行。为解决这一局限，我们提出了 UnSAMv2，它无需使用任何人工标注即可在任意粒度上分割任何对象。UnSAMv2 扩展了 UnSAM 的分而治之策略，通过发现大量掩码-粒度对，并引入一种新颖的粒度控制嵌入，实现对分割尺度的精确、连续控制。值得注意的是，仅使用 $6$K 张无标注图像和 $0.02\%$ 的额外参数，UnSAMv2 就显著增强了 SAM-2，使其能够在交互式、全图和视频分割任务中于任意粒度上分割任何对象。此外，我们引入了一种语言引导的分割流程，通过外部视觉-语言模型将粒度锚定在文本语义中，从而将粒度视为可预测变量，在 1-IoU 上超越了此前的最先进水平（40.4 $\rightarrow$ 47.3）。在 11+ 个基准测试中，UnSAMv2 相较 SAM/SAM-2 基线取得了一致提升，大幅改善了 $\text{NoC}_{90}$（5.69 $\rightarrow$ 4.75）、1-IoU（58.0 $\rightarrow$ 73.1）和 $\text{AR}_{1000}$（49.6 $\rightarrow$ 68.3）。我们的工作表明，少量无标注数据即可为强大的监督式基线带来巨大且实用的改进。我们的代码、数据集和演示可在此 https URL 获取。

评论：	被 TMLR 接收
主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2511.13714 [cs.CV]
	（或 arXiv:2511.13714v2 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2511.13714 由 DataCite 颁发的 arXiv DOI
期刊参考：	Transactions on Machine Learning Research, 2026

提交历史

来自：Junwei Yu [查看电子邮件]
[v1] 2025年11月17日星期一 18:58:34 UTC（25,125 KB）
[v2] 2026年10月10日星期六 23:58:29 UTC（24,302 KB）