arXiv cs.AI· Mijeong Kim, Kyujin Lim, Bohyung Han·· 3 天前AI 评分22
WorldRoPE：面向多视图注意力的概率式世界中心旋转位置嵌入
WorldRoPE: Probabilistic World-Centric Rotary Embedding for Multi-View Attention
AI 导读
WorldRoPE 是一种面向多视图注意力的概率式世界中心 RoPE，将每个 patch token 反投影为共享世界坐标系下的一组体积高斯原语，以联合建模深度假设、深度不确定性与 patch 视锥的空间范围。
正文 · AI 翻译
摘要：旋转位置嵌入（RoPE）被广泛用于在 Transformer 中编码相对位置。然而，在多视图设置中，patch 坐标是在每张图像中独立定义的：因此同一个 3D 点在不同视图中可能具有不同的坐标，这使得它们不足以建立跨视图对应关系。我们提出 WorldRoPE，一种用于多视图注意力的概率式世界中心 RoPE。在每一层，WorldRoPE 将每个 patch token 反投影到共享世界坐标系中的一组体积高斯基元。这些基元表示一个 token 的多个可能 3D 支撑，联合捕捉替代深度假设、深度不确定性及其 patch 视锥的有限空间范围。当一个 key token 的支撑被投影到 query 视图时，它会诱导出该 key 可能出现在 query 图像中位置的分布。WorldRoPE 以闭式形式在该分布上积分旋转算子，根据混合权重将投影基元中心处的旋转与依赖协方差的衰减相结合。这使得注意力对 query 视图中不确定的 key 位置不那么敏感，而无需栅格化或扭曲 token 特征。当支撑坍缩为一个点时，该公式退化为确定性 RoPE。跨层之间，预测的几何引导跨视图注意力，而更新后的特征则细化下一层所使用的几何。在新视图合成、深度估计和 3D 几何重建上的实验证明了 WorldRoPE 对多视图 Transformer 的有效性。
| 评论： | 项目页面：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16337 [cs.CV] |
| （或 arXiv:2610.16337v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16337 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mijeong Kim [查看电子邮件]
[v1]
2026年10月12日星期一 07:56:46 UTC（17,199 KB）
来源：arXiv cs.AI · arxiv.org