研究拆解视觉语言模型多模态位置编码

Zhaoyi Liu 等作者发表论文，将视觉语言模型广泛采用的多模态旋转位置编码（MRoPE）拆分为视觉内部空间结构与跨模态空间效应两部分，分别检验其作用。 跨多个模型规模、MRoPE 变体和 benchmark 的受控实验显示，跨模态空间效应作为空间参考几乎无额外收益，甚至可能损害模型性能；视觉内部空间编码对细粒度定位仍然有用。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。