arXiv cs.AI· Zhenyang Liu, Chenjie Cao, Yisu Zhang, Xuhui Zuo, Xiangyang Xue, Yanwei Fu, Tengfei Wang, Chunchao Guo·· 3 天前AI 评分24
OmniCam：基于几何锚定姿态 token 学习的全景相机轨迹生成
OmniCam: Omni-Camera Trajectory Generation via Geometry-Grounded Pose Token Learning
AI 导读
OmniCam 是一个自回归模型，可从单张全景图和文本轨迹描述生成相机姿态序列，其几何锚定姿态 token 学习结合了全景点云编码器、混合绝对旋转与相对平移 tokenization 以及独立的几何与语义条件流。
正文 · AI 翻译
摘要：相机轨迹控制着视频生成、场景重建和机器人感知中的视角变化。从语言生成这些轨迹需要场景几何和目标感知构图。我们提出 OmniCam，一种从单张全景图和文本轨迹描述生成相机位姿序列的自回归模型。其基于几何的位姿 token 学习结合了三个组件：用于全向几何上下文的全景点云编码器；具有时间一致四元数符号的混合绝对旋转和相对平移 token 化；以及带有显式 3D 目标锚点的独立几何和语义条件流。我们还构建了 OmniCaT，包含四种相机行为下的 267,700 条轨迹。在报告的 OmniCaT 评估中，与在 OmniCaT 上重新训练的 GenDoP 相比，OmniCam 将轨迹误差降低了 28--47%，碰撞率降低了 65.8%。与每个指标的最佳基线相比，ATE 和碰撞分别降低了 43.0% 和 62.3%。组件消融支持使用几何和目标感知条件，而下游实验则考察了相机控制的视频生成和机器人主动感知。
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.09513 [cs.CV] |
| （或 arXiv:2610.09513v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09513 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Zhenyang Liu [查看电子邮件]
[v1]
2026年10月7日星期三 06:08:28 UTC (32,437 KB)
[v2]
2026年10月10日星期六 03:35:33 UTC (32,437 KB)
来源：arXiv cs.AI · arxiv.org