arXiv cs.AI· Vasundra Srinivasan·· 2 天前AI 评分18
论文提出多模态一致性评分 MCS：高分不等于好数据
Good Scores, Bad Data: A Metric for Multimodal Coherence
AI 导读
研究者提出多模态一致性评分（MCS），一种不依赖下游模型、无需人工标注即可评估多模态融合质量的指标，将一致性拆分为 identity、spatial、semantic、decision 四个维度并用 Nelder-Mead 优化学习权重。
正文 · AI 翻译
摘要：多模态 AI 系统通常以下游任务准确率来评估，但高准确率并不意味着底层数据是连贯的。一个模型可以在视觉问答（VQA）上取得高分，而其输入却相互矛盾。我们引入了多模态连贯性得分（MCS），这是一种独立于任何下游模型来评估融合质量的指标。MCS 将连贯性分解为四个维度：身份、空间、语义和决策，其权重通过 Nelder-Mead 优化学习得到。我们使用 DETR、CLIP 和 ViLT 在 1,000 张 Visual Genome 图像上进行评估，并在 150 张 COCO 图像上无需重新训练进行验证。在三种融合架构上，MCS 区分质量的敏感度高于仅使用任务准确率（Spearman rho = 0.093 对 0.071）。扰动实验证实，每个维度对其失效模式独立响应，且无交叉干扰。MCS 轻量、无需人工标注，并且不仅能告诉你某处出了问题，还能告诉你具体是什么出了问题。
| 评论： | 9 页，6 幅图，NeurIPS 2024 格式 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2603.25924 [cs.CV] |
| （或 arXiv:2603.25924v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.25924 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vasundra Srinivasan [查看电子邮件]
[v1]
2026 年 3 月 26 日星期四 21:30:34 UTC（2,259 KB）
[v2]
2026 年 10 月 24 日星期六 00:43:12 UTC（2,259 KB）
来源：arXiv cs.AI · arxiv.org