arXiv cs.AI· Xiaoang Zhang, Mert Kiray, Yordanka Velikova, Manoj Biswanath, Benjamin Busam·· 14 小时前AI 评分29
ProMo3D：在冻结的 3D 基础模型中探测运动线索
ProMo3D: Probing Motion Cues in Frozen 3D Foundation Models
AI 导读
ProMo3D 提出基于探测的运动蒸馏（PMD），将冻结 3D 基础模型 token 与固定锚点 token 的运动状态兼容性分数转为稠密运动掩码，无需重新学习运动特征。
正文 · AI 翻译
摘要：前馈 3D 基础模型近来重塑了多视图重建，然而动态 4D 理解仍常常依赖大规模运动监督或手工设计的、特定于架构的启发式方法。我们探究冻结的 3D 基础模型 token 是否已经编码了与运动相关的信息，且这些信息可由轻量级读出函数暴露出来，而无需用高容量解码器重新学习运动特定特征。通过对三个代表性骨干网络进行探测，我们发现静态—动态分离可以从冻结的 token 表示中解码出来。我们对 $\pi^3$X 进行的秩受限与谱分析表明，恢复出的运动线索集中在低维子空间中。基于此，我们提出基于探测的运动蒸馏（PMD），它将针对固定锚点 token 的成对运动状态兼容性分数转换为稠密运动掩码。仅使用单块 16 GB GPU 在 160 个 YouTube-VOS 视频上训练，PMD 无需目标基准微调即可零样本迁移到 DAVIS、SegTrackv2 和 FBMS-59。在多视图预训练几何骨干网络上，PMD 优于免训练启发式方法，并接近重得多的监督与自监督方法，这表明从冻结 3D 基础模型进行运动解码可以是轻量且数据高效的。
| 评论： | 已被 NeurIPS 2026（主赛道）接收。海报：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.33802 [cs.CV] |
| （或 arXiv:2610.33802v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33802 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaoang Zhang [查看电子邮件]
[v1]
2026 年 10 月 24 日星期六 17:07:11 UTC（8,039 KB）
来源：arXiv cs.AI · arxiv.org