研究诊断视觉语言模型左右关系失效并提出修复

Mahdi Mostajabdaveh 与 Zirui Zhou 发表论文，诊断对比视觉语言模型左右空间关系接近随机水平的两类成因，并提出零参数、查询条件的空间矩方法作为修复。 研究称，十款编码器中九款在原生图文相似度下无法访问池化向量中可线性解码的关系信息（访问失效）；池化在受控 C4 轨道上保留排列轴却丢失极性（池化失效）。 该修复方法从 patch 网格重新计算几何，并将其作为向量存储在原生嵌入旁。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。