arXiv cs.CL· Wenbin Wang, Yuheng Li, Koichiro Yoshino·· 11 小时前AI 评分32
SAC-Bench：音频语言模型在语音与声学证据冲突下的基准测试
One Waveform, Two Stories: Benchmarking Speech-Acoustic Conflict in Audio-Language Models
AI 导读
研究者推出 SAC-Bench，用 616,031 段来自 188 个声音事件类别的音频片段，测试音频语言模型在语音陈述与声学证据矛盾时的表现。在五个开放权重 ALM 上，纯音频准确率往往很高，但冲突条件下 Event Identity 准确率下降 24.8–46.5 个百分点，时间顺序错误即使语音完整描述事件序列仍会出现。
正文 · AI 翻译
摘要：音频语言模型（ALMs）的评估聚焦于其对语音和环境声音的理解。目前尚未充分探索的是，当同一录音中的语音陈述与声学证据相矛盾时，它们会如何反应。我们推出 SAC-Bench，这是一个音频内语音—声学冲突基准，包含来自 188 个声音事件类别的 616,031 个独特片段，涵盖七项语义、时间和空间任务。它将环境录音与兼容或矛盾的合成语音陈述配对，并在适用时包含纯音频对照组。在五项开放权重 ALMs 于语义和时间任务上的评估中，高纯音频准确率往往与矛盾陈述下的大幅性能损失并存；冲突条件下的 Event Identity 准确率比兼容条件低 24.8–46.5 个百分点。即使语音跟随完整事件序列，Temporal Order 失败仍然存在，因此同时发生的语音—事件掩蔽无法完全解释这些失败。一项使用 Spatial-Omni 的空间案例研究发现，较低的運動准确率与语音陈述及语音源的物理轨迹均相关。提示干预有时能恢复声学准确率，但也可能减少与陈述对齐的答案而不改善基础定位，或使性能恶化。因此，SAC-Bench 将声学能力、冲突鲁棒性和干预效果区分开来。
| 评论： | 26 页，7 幅图，5 张表 |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2611.00325 [cs.SD] |
| （或 arXiv:2611.00325v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00325 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wenbin Wang [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 19:47:54 UTC（2,838 KB）
来源：arXiv cs.CL · arxiv.org