arXiv cs.AI· Anwar Shamim, Jeffrin Sam·· 1 天前AI 评分22
用 V-JEPA 特征做多视角 3D 重建：空间相机回归与联合相对目标的对比研究
Multi-View 3D Reconstruction Using V-JEPA Features
AI 导读
研究用 V-JEPA 视频预训练特征搭建监督式纯 RGB 多视角重建架构，结合相机估计、场景聚合、极线传输与残差点图。
正文 · AI 翻译
摘要：预测性视频编码器提供稠密的视觉表示，但将其适配到 3D 重建需要准确的深度、相机位姿和跨视角几何。我们研究仅使用 RGB 的监督式多视角重建，采用一种结合视频预训练特征、相机估计、场景聚合、对极传输和残差点图的架构。实验在 CO3D 上比较了全局与空间相机回归以及联合相对目标，并对比了一个独立训练的 TUM RGB-D 模型。在 168 个 CO3D 五视角窗口上，空间相机配置的绝对轨迹误差比全局相机配置低 29.3%，但在轨迹误差上劣于恒等位姿，在深度误差上劣于全局配置。联合相对目标配置将归一化内参误差和相似性对齐 Chamfer 距离从 0.6447 改善到 0.5573，但将原始 Chamfer 距离从 3.5535 增加到 4.4374。在 163 个室内窗口上，相机误差为 0.3063 m，而恒等位姿为 0.3694 m；深度误差为 0.4279，而恒定中值深度为 0.2516。细化会恶化室内相机误差，额外实验显示出深度与位姿效应相互竞争。总体而言，这些结果区分了表示适配、对齐形状和原始重建，强调在将重建增益归因于预测性视频预训练之前，需要进行隔离的组件和编码器比较。
| 评论： | 29 页，11 幅图。源代码可在 此 https URL 获取 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15143 [cs.CV] |
| （或 arXiv:2611.15143v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15143 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jeffrin Sam [查看电子邮件]
[v1]
2026 年 11 月 11 日星期三 07:33:05 UTC（1,560 KB）
来源：arXiv cs.AI · arxiv.org