CamChoreo：面向视觉语言模型的时间定位组合式相机运动理解基准

作者：Dazhao Du、Shiyan Du、Jian Liu、Yongjian Yu、Bohai Gu、Tao Han、Jie Zhang、Hualuo Liu、Eric Liu、Yujia Zhang、Xi Chen、Song Guo

摘要：理解相机运动是视频感知的基础，在空间智能和可控视频生成中具有应用价值。现有的相机运动评估通常为整个片段分配标签，忽略了镜头内的变化和同时发生的运动。因此，我们将相机运动理解表述为时间定位的组合式识别，要求模型定位运动一致的区间并识别所有活跃的运动。我们提出了 CamChoreo，这是该任务的首个基准，包含 4,229 个多样化的单镜头片段，由专家使用 20 个方向感知标签进行时间标注。其中近一半的片段包含复合相机运动。我们还构建了一个独立的训练语料库，包含约 43K 个片段，采用相同的标注格式。在 CamChoreo 上，在该语料库上进行监督微调（SFT）在 4B/8B 骨干网络上分别达到 62.1/64.1 的 micro F1，优于先进的闭源视觉语言模型（VLM）。为了用跨帧几何信息补充 VLM 视觉编码器主要基于语义的表示，我们引入了 CamInject，它将冻结的 3D 基础模型的特征注入 VLM。CamInject 优于 SFT，但需要在推理时运行昂贵的 3D 模型。我们转而提出 CamDistill，它在训练期间将相同的几何知识蒸馏到轻量级相机 token 中，并在推理时移除 3D 模型。CamDistill 在 4B/8B 骨干网络上将 micro F1 相比同数据 SFT 分别提升 5.4/3.7 个点，接近 CamInject。CamDistill-8B 还在外部相机运动理解基准 CameraBench 和 CameraMotionVQA 上展现出强大的零样本迁移能力。这些资源和 CamDistill 共同实现了对时间定位的组合式相机运动理解的基准测试与改进。

主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）
引用为：	arXiv:2608.10932 [cs.CV]
	（或 arXiv:2608.10932v2 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2608.10932 arXiv 颁发的 DOI（通过 DataCite）

提交历史

来自：Dazhao Du [查看邮箱]
[v1] 2026年8月11日星期二 14:00:02 UTC（16,290 KB）
[v2] 2026年11月12日星期四 07:40:23 UTC（16,733 KB）