arXiv cs.AI· Jiaqi Xiong, Yunjia Qi, Qi Cao, Yu Zheng, Yutong Zhang, Ziteng Wang, Ruofan Liao, Weisheng Xu, Sichen Liu·· 6 天前AI 评分30
DEAF：音频语言模型声学忠实度诊断评测基准
DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models
AI 导读
研究者推出 DEAF 基准，包含 2700 多条冲突刺激，覆盖情感韵律、背景音和说话人身份三个声学维度，并设计逐级增强文本影响的多层次评测框架。对 7 个 Audio MLLM 的评测显示，模型虽对声学变化敏感，但预测主要由文本输入驱动，标准语音基准的高分与真实声学理解之间存在差距。
正文 · AI 翻译
摘要：近期的音频多模态大语言模型（Audio MLLMs）在语音基准测试中表现出色，但这些模型究竟是真正处理声学信号，还是依赖基于文本的语义推理，目前仍不清楚。为系统研究这一问题，我们提出了 DEAF（Diagnostic Evaluation of Acoustic Faithfulness，声学忠实性诊断评估），这是一个包含 2,700 多个冲突刺激的基准，涵盖三个声学维度：情感韵律、背景声音和说话人身份。随后，我们设计了一个受控的多层次评估框架，逐步增强文本影响，从内容中的语义冲突到误导性提示及其组合，使我们能够将内容驱动的偏差与提示诱导的迎合性区分开来。我们进一步引入了诊断指标，以量化模型对文本线索而非声学信号的依赖程度。我们对七个 Audio MLLM 的评估揭示了一致的文本主导模式：模型对声学变化敏感，但其预测主要由文本输入驱动，这揭示了标准语音基准上的高性能与真正的声学理解之间的差距。
| 评论： | 14 页，6 幅图 |
| 主题： | 人工智能（cs.AI）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2603.18048 [cs.AI] |
| （或 arXiv:2603.18048v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.18048 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiaqi Xiong [查看邮箱]
[v1]
2026 年 3 月 17 日星期二 15:52:26 UTC（12,711 KB）
[v2]
2026 年 3 月 20 日星期五 01:17:57 UTC（12,711 KB）
[v3]
2026 年 10 月 9 日星期五 17:56:35 UTC（16,487 KB）
来源：arXiv cs.AI · arxiv.org