arXiv cs.AI· Roy Amoyal, Shira Ifergane, Oren Freifeld·· 11 小时前AI 评分29
SemGeo-Gen：无监督生成跨实例近似语义-几何对应关系
SemGeo-Gen: Unsupervised Generation of Approximate Cross-Instance Semantic-Geometric Correspondences
AI 导读
SemGeo-Gen 是一种无监督方法，可从弱对齐的 3D 物体集合中自动生成近似跨实例语义-几何监督，无需人工标注。该方法将多视图 DINOv2 特征提升到 3D，用连续分段仿射配准对齐实例并按语义一致性剪枝，在 KeypointNet 稀疏标注上取得 93% PCK@0.10 和 97% PCK@0.15。
正文 · AI 翻译
摘要：我们提出 SemGeo-Gen，一种无监督方法，用于从弱对齐的 3D 物体集合中生成近似的跨实例语义-几何监督。我们的目标并非恢复精确的点级对应关系，因为这种对应关系在不同实例之间往往存在歧义，且在大规模场景下需要昂贵且不切实际的人工监督。相反，我们自动生成近似对应关系，这些对应关系具有语义意义、几何一致性，并且足够多样，可用于训练现代对应关系模型。仅给定粗略的类别级旋转对齐，SemGeo-Gen 将多视图 DINOv2 特征提升到 3D，使用连续分段仿射配准对齐物体实例，并利用语义一致性剪除候选匹配。由此得到的 3D 对应关系可以投影到渲染视图中，从而无需人工标注即可产生可扩展的 3D-3D、3D-2D 和 2D-2D 监督。我们使用 KeypointNet 的稀疏人工标注验证生成的对应关系，获得 93% PCK@0.10 和 97% PCK@0.15。更重要的是，我们表明，在真实数据上微调后，使用生成的对应关系进行合成预训练可提升近期最先进的语义对应关系模型在 SPair-71k 上的表现，最高提升 5 个 PCK@0.10 点。这些结果共同表明，从 3D 资产生成的近似语义-几何监督可以改进真实图像的对应关系学习，并成为昂贵人工标注的可扩展替代方案。项目页面：this https URL。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.32663 [cs.CV] |
| （或 arXiv:2610.32663v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32663 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Roy Amoyal [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 14:07:04 UTC（35,509 KB）
来源：arXiv cs.AI · arxiv.org