arXiv cs.CL· Zhaolu Kang, Yidi Wang, Yile Li, Siqi Zeng, Yingjie He, Richeng Xuan, Zhichao hu·· 12 小时前AI 评分36
TRIAD：多模态大模型全模态歧义消解基准
TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models
AI 导读
TRIAD 是面向全模态歧义消解的新基准，包含 327 条人工编写查询、86 个场景组和 18 类歧义，每条为文本-图像-音频三元组，需三模态齐备才能唯一确定答案。评测 14 个全模态系统显示，最佳模型组准确率仍落后人类超 20 分；移除选项后模型组准确率降至个位数，人类依然稳健。留一法与转写/描述反事实实验表明，当前系统在文本与图像存在时往往未充分利用音频线索。
正文 · AI 翻译
摘要：歧义是自然交流的核心特征：一个句子、图像或声音在考虑其他通道的证据之前可能仍是不确定的。然而，当前的多模态基准大多测试对已确定输入的感知、识别或推理，尚不清楚全模态大语言模型能否解决分布在文本、视觉和音频中的歧义。我们提出 TRIAD，一个用于全模态歧义消解的基准。每一项都是一个文本—图像—音频三元组，配有一个问题和一组答案选项，其构造使得完整三元组确定唯一答案，而移除任一模态都会使一致选项集合不再唯一。TRIAD 包含 $86$ 个场景组中的 $327$ 条手写查询，覆盖三种模态下的 $18$ 个歧义类别。对 $14$ 个全模态系统的评估表明，强大的单项级性能并不能转化为稳健的场景级消歧：最佳模型在组准确率上仍落后人类超过 $20$ 个百分点。移除答案选项会进一步扩大差距，使模型组准确率降至个位数，而人类仍保持稳健。留一法和转录/描述反事实进一步表明，当前系统在文本和图像存在时往往未充分利用音频线索。TRIAD 将全模态评估重新围绕消歧而非识别展开，并提供了一套分类体系、基准和诊断协议来测量这一能力。
| 评论： | NeurIPS 2026 评估与数据集 Track |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30841 [cs.CL] |
| （或 arXiv:2610.30841v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30841 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingjie He [查看邮箱]
[v1]
2026年10月22日星期四 07:15:40 UTC（1,374 KB）
来源：arXiv cs.CL · arxiv.org