arXiv cs.AI· Shiyao Qian, Yuan Ren, Dongfeng Bai·· 2 天前AI 评分22
基于运动与重力感知的前馈 3D 重建框架
Motion- and Gravity-Aware Feedforward 3D Reconstruction
AI 导读
研究者提出一种基于 LUPI 范式的运动与重力感知框架，训练时以残差光流和重力方向作为特权信号引导几何表征学习，推理时仅用标准视觉输入，保持前馈效率。在标准基准上，该方法在含动态物体、结构模糊和复杂相机运动的场景中提升了重建精度与鲁棒性。分析显示最优注入阶段因骨干而异：VGGT 适合中层注入，π3 更适合后期注入。
正文 · AI 翻译
摘要：前馈 Transformer 模型近期在多视图 3D 重建中取得了强劲性能，但它们仍主要依赖基于外观的注意力机制，在几何线索较弱的动态场景中往往表现不佳。在本工作中，我们在使用特权信息学习（LUPI）范式下引入了一个运动与重力感知框架。训练期间，残差光流和重力方向作为特权信号提供，以引导几何表示学习；推理期间，模型仅使用标准视觉输入。
我们通过轻量级的架构改动将这些先验整合到 Transformer 主干中，同时保持前馈效率。在标准基准上的实验表明，重建精度和鲁棒性均获得一致提升，尤其是在包含动态物体、结构模糊以及具有挑战性相机运动的场景中。我们的分析进一步表明，最优注入阶段取决于主干网络：对于 VGGT，中层整合通常更可取，而对于 {\pi}3，后期整合更为有效。这些结果表明，LUPI 提供了一种实用方法，可在不增加测试时复杂度的情况下，将运动和物理先验注入前馈 3D 重建。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22177 [cs.CV] |
| （或 arXiv:2610.22177v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22177 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shiyao Qian [查看邮箱]
[v1]
2026年10月15日星期四 16:34:04 UTC（15,458 KB）
来源：arXiv cs.AI · arxiv.org