研究提出视觉语言模型模态控制学习方法

Maxime Dassen 等作者提出一种让视觉语言模型学会模态接地控制的方法，并构建 Ground-CF 基准来评估。他们用冲突保留的反事实干预，以 Flip 衡量答案是否跟随指定模态的编辑、以 Stay 衡量竞争模态被编辑时答案是否稳定。 方法借鉴新词学习：为视觉和文本接地各引入新词，只训练这些新词的嵌入向量，保持预训练模型固定，同时提出 Counterfactual Twin-Margin（CTM）监督。上述内容来自作者在论文中的自述。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。