arXiv cs.AI· Quang Qui-Vinh Nguyen, Hung Nguyen, Rang Nguyen, Khoi Nguyen·· 1 天前AI 评分31
无需训练的个性化图像分割框架：用 top-K Sinkhorn 匹配解决多实例召回瓶颈
Where is My Mug? Training-Free Framework for Personalized Image Segmentation
AI 导读
研究者提出一种无需训练的模块化个性化图像分割系统，先用现成类别无关检测器生成高召回候选框，再用 BLIP-2 等基础模型特征与参考图匹配，最后用 SAM 精修选中框。
正文 · AI 翻译
摘要：\textbf{个性化图像分割（PIS）}旨在分割目标图像中与用户提供的参考相匹配的特定对象。与基于类别的分割或少样本分割不同，PIS 必须区分多个视觉上相似的实例，这一需求对于增强现实、个性化内容编辑、机器人操作、库存跟踪和细粒度视觉检索等已部署应用至关重要。我们表明，现有 PIS 方法所报告的强劲数值在很大程度上是单实例基准的产物：当在包含多个同类别相似对象的真实场景中评估时，先前的点提示方法会崩溃，因为正确的实例经常从未作为提示被呈现。我们将此归因于召回瓶颈而非掩码质量瓶颈，并用一个免训练、模块化的系统来解决它。该流程首先使用现成的类别无关检测器生成高召回的对象提议，然后使用基础模型特征（例如 BLIP-2）将每个提议与参考进行匹配，最后用 SAM 细化选定的边界框。为实现稳健匹配，我们提出 \textbf{top-$K$ Sinkhorn}，这是一种块级距离，仅根据每个候选最自信匹配的块对其进行评分；修剪 Sinkhorn 对偶势可恢复部分最优传输的稳健性，而成本降低超过 $100\times$，使其保持在每个提议的候选循环内。为评估这一情形，我们引入 \textbf{\datasetname}，一个真实的多实例基准。在 \datasetname、PerSeg、PerMIS 和 DAVIS 上，我们的系统以最高约 $\sim\!48$ mIoU 超越 PerSAM、$\mathrm{P}^2\mathrm{SAM}$ 和 PDM，同时匹配它们的运行时间并使用更少的参数，为真实世界的个性化分割建立了一个强大、可部署的免训练基线。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15216 [cs.CV] |
| （或 arXiv:2611.15216v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15216 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Quang Qui-Vinh Nguyen [查看电子邮件]
[v1]
2026年11月11日星期三 09:09:54 UTC（20,243 KB）
来源：arXiv cs.AI · arxiv.org