arXiv cs.AI· Zhaoyi Liu, Haichuan Zhang, Xiaochuan Gong, Yancheng Zhu, Bowei Tian, Wanghao Ye, Yufan Zhang, Ang Li·· 10 小时前AI 评分31
拆解视觉语言模型中的多模态旋转位置编码（MRoPE）
Disentangling Multimodal Rotary Positional Embedding in Vision-Language Models
AI 导读
研究拆解了视觉语言模型广泛采用的多模态旋转位置编码（MRoPE）中视觉内部空间结构与跨模态空间效应的作用。跨多个模型规模、MRoPE 变体和 benchmark 的受控实验显示，跨模态空间效应作为空间参考几乎无额外收益，甚至可能损害模型性能，而视觉内部空间编码对细粒度定位仍然有用。
正文 · AI 翻译
摘要：视觉语言模型广泛采用多模态旋转位置嵌入（MRoPE），它是旋转位置嵌入（RoPE）的扩展，引入了时间、高度和宽度轴来编码视觉 token 的空间结构。然而，MRoPE 也为缺乏内在空间结构的文本 token 分配了高度和宽度坐标，从而将空间位置效应引入文本-视觉注意力中。现有的 MRoPE 变体探索了不同的频率分配和坐标布局，其设计暗示了对这些跨模态效应的不同直觉：它们可能为将语言与视觉区域关联提供有用的空间参考，也可能引入不必要的位置偏好，从而阻碍文本-视觉交互。在本工作中，我们将视觉内部空间结构与跨模态空间效应解耦，以研究这一问题。我们发现了共享坐标布局的一个约束，该约束使得在保留视觉内部空间编码的同时无法消除跨模态空间效应，并设计了受控实验来分离它们各自的贡献。我们在多种模型规模、MRoPE 变体和基准上的结果表明，跨模态空间效应作为空间参考提供的额外收益很小，甚至可能损害模型性能，而视觉内部空间编码对于细粒度定位仍然有用。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13334 [cs.AI] |
| （或 arXiv:2611.13334v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13334 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhaoyi Liu [查看邮箱]
[v1]
2026年11月9日星期一 23:00:25 UTC（13,237 KB）
来源：arXiv cs.AI · arxiv.org