arXiv cs.AI· Samyak Rawlekar, Nikhil Chowdary Paleti, Amey Gupta, Narendra Ahuja·· 11 小时前AI 评分31
Part-DINO:用图像结构边界补足 DINO 特征的无训练部件发现框架
Complementing DINO Features with Image Structure for Part Discovery
AI 导读
Part-DINO 是一个无需训练的框架,将低层图像分割得到的边界与 DINO 的语义特征结合,先按边界把图像划分为区域,再在区域内池化 DINO 特征并聚类以发现物体部件。
正文 · AI 翻译
摘要:像 DINO 这样的自监督视觉 Transformer(ViT)编码了丰富的语义,使得无需训练即可从背景中分割出物体,并通过特征聚类发现物体的各个部分。本文聚焦于部件发现:将前景物体划分为语义部件。现有方法产生的部件边界不精确。我们将此归因于训练 DINO 时使用的刚性 ViT 图块网格,其中跨越边界的图块包含来自多个部件的像素。尽管 DINO 基于不变性的训练可以将这种像素级混合吸收为干净的特征,但对超过 26K 个前景图块的实验表明并非如此:与边界重叠的图块产生的特征具有更高的熵和更低的分配置信度,从而模糊了预测的部件边界。与其投入巨大精力在几何一致的区域上重新训练 DINO,一个更简单的方法是从边界检测器直接获取边界,这提供了 DINO 特征所缺乏的几何信息。受此启发,我们提出了 Part-DINO,一个无需训练的框架,将来自低级图像分割的边界与 DINO 的语义特征相结合。我们使用边界将图像划分为区域,在每个区域内池化 DINO 特征,并对它们进行分组以发现部件。在无需任何训练的情况下,Part-DINO 产生了结构一致的部件分配,在四个标准基准(CUB、CelebA、PartImageNet-OOD、PartImageNet-Seg)上优于无需训练的基线,并与弱监督和无监督方法保持竞争力。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.32293 [cs.CV] |
| (或 arXiv:2610.32293v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.32293 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Samyak Rawlekar [查看电子邮件]
[v1]
2026年10月23日星期五 07:52:14 UTC(12,903 KB)
来源:arXiv cs.AI · arxiv.org