OpenBMB 提出 Trident 解决多模态检索的文本偏好问题
OpenBMB 提出 Trident 解决多模态检索文本偏好问题
OpenBMB 提出 Trident，用多正样本视图 InfoNCE 联合训练文本、图像、融合三种视图，解决多模态检索器在图文混合语料上性能骤降的“Chaos in the Text”现象。
OpenBMB· @OpenBMB · X·2026-10-19 21:30· 54 分钟前AI 评分40
AI 导读
面壁智能 OpenBMB 提出 Trident，用多正样本视图 InfoNCE 联合训练文本、图像、融合三种视图，解决多模态检索器在图文混合语料上性能骤降的“Chaos in the Text”现象。
正文 · 原文
🔱 为什么无关文本的排名会高于实际包含答案的图像？
我们发现，多模态检索器在纯文本和纯图像语料上表现良好，但当文本与图像混合时性能会急剧下降。
我们将这一现象称为“Chaos in the Text”。
我们的分析揭示了一种系统性的模态偏好：文本往往比语义对齐的图像获得更高的相似度分数。我们提出 Trident，用多正样本视图 InfoNCE 联合训练文本 / 图像 / 融合三种视图。
在 6 个视觉文档检索基准上，Trident-Qwen3VL-2B 将 Mix Avg NDCG@10 从 40.12 提升至 73.90。
📄 论文/项目：https://chaos-in-texts.github.io/
💻 代码：https://github.com/OpenBMB/Trident
#MultimodalRetrieval #MultimodalRAG #RAG #VLM #Embedding #Trident #ChaosInTheText #OpenBMB
来源：OpenBMB · x.com
来源：RadarAI · aihot.news