arXiv cs.AI· Shiqi Zhang, Weixin Zeng, Ziheng Zhang, Jiuyang Tang, Xiang Zhao·· 3 天前AI 评分27
SRCoD：面向多模态基准的条目级结构-响应协同校准诊断框架
Are Multimodal Benchmarks Really Useful? Item-Level Multimodal Benchmark Diagnosis via Structure-Response Co-Calibration
AI 导读
针对多模态基准中存在的捷径条目问题，研究者提出 SRCoD——一个结构-响应协同校准的诊断框架，可从基准内容与目标答案估计样本级多模态信息结构，并作为软结构锚点进行模态条件条目响应建模，输出条目级诊断画像。在基准精化验证与人工标注条目验证两种协议下，SRCoD 均优于现有基准诊断方法，该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：多模态基准测试是评估模型能否对来自多种模态的信息进行推理的核心。然而，现有文献揭示，一些基准测试可能包含捷径题目，这些题目仅凭单一模态或仅凭答案选项的规律即可作答，因而无法反映模型真正的跨模态推理能力。现有的基准评估方法通常依赖于题目内在结构或模型外在响应行为，不足以进行全面诊断。为填补这一空白，我们提出 SRCoD，一种结构-响应协同校准的诊断框架，用于对多模态基准测试中的模态依赖性进行题目级诊断。SRCoD 从基准内容和目标答案中估计样本级多模态信息结构，并将该信号作为模态条件题目响应建模的软结构锚点。所学习到的模型会生成经过校准的题目级诊断画像，反映一道题目对不同形式模态证据的依赖强度，从而支持超越总体准确率的细粒度基准分析。SRCoD 还提供诊断结果的可解释归因。在两个互补协议（即面向基准精炼的验证和人工标注题目验证）下的大量实验表明，SRCoD 优于最先进的基准诊断方法。
| 评论： | 已被 NeurIPS 2026 接收。34 页，含附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14542 [cs.AI] |
| （或 arXiv:2610.14542v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14542 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Shiqi Zhang [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 03:57:33 UTC（4,021 KB）
来源：arXiv cs.AI · arxiv.org