arXiv cs.AI· Zihui Gao, Ke Liu, Donny Y. Chen, Duochao Shi, Guosheng Lin, Jia-Wang Bian, Hao Chen, Chunhua Shen·· 11 小时前AI 评分34
SAGE：利用互联网视频弱监督实现 3D 几何基础模型的可扩展适配
Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video
AI 导读
SAGE 框架通过从原始互联网视频流中进行分层挖掘，将视频转化为训练轨迹与混合监督信号，实现 3D 几何基础模型的可扩展适配。在 MV-DUSt3R 和 VGGT 两个架构不同的骨干模型上，SAGE 在 7Scenes、TUM-RGBD、Matterport3D 等未见基准上将 Chamfer Distance 降低 20-42%，并持续提升 VGGT 表现。
正文 · AI 翻译
摘要：几何基础模型在 3D 重建中展现出潜力。然而，其进展受到多样化、大规模 3D 标注稀缺的严重制约。虽然静态场景的互联网视频丰富多样，但由于缺乏真实几何信息且存在观测噪声，将其用作几何学习的扩展来源颇具挑战。为此，我们提出 SAGE，一个从原始视频流中可扩展地适配几何基础模型的框架。SAGE 利用分层挖掘流水线将视频转化为训练轨迹和混合监督：（1）信息量丰富的训练轨迹选择；（2）通过 SfM 点云进行稀疏几何锚定以提供全局结构引导；（3）通过 3D 高斯渲染实现稠密可微一致性以提供多视图约束。此外，我们还引入了一种正则化策略，重放一小部分监督数据以防止灾难性遗忘。SAGE 应用于两个架构不同的骨干网络，在未见过的基准（7Scenes、TUM-RGBD、Matterport3D）上将 MV-DUSt3R 的 Chamfer 距离降低 20-42%，并持续提升 VGGT。SAGE 确立了互联网视频作为几何基础模型可行且可扩展的适配来源。代码可在 此 https URL 获取。
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2602.07891 [cs.CV] |
| （或 arXiv:2602.07891v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.07891 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zihui Gao [查看邮箱]
[v1]
2026 年 2 月 8 日星期日 09:53:21 UTC（7,420 KB）
[v2]
2026 年 10 月 16 日星期五 12:13:07 UTC（7,424 KB）
来源：arXiv cs.AI · arxiv.org