arXiv cs.AI· Mohammad Khalooei, Mohammad Sabokrou·· 6 天前AI 评分23
位置重要吗？黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位
Does Location Matter? A Black-Box Causal Audit Reveals Model-Dependent Audio Grounding in LALM Hallucination
AI 导读
研究提出一种黑盒因果测试，通过 CLAP 相似度定位音频证据区域并用频谱门控移除，在三个 LALM 上以 2x2x2 网格对比随机窗口。在 Qwen2-Audio-7B 上，定位消融的原始 AUROC（0.613）低于 blank 波形（0.721），但这是时长混淆所致；固定时长后定位在每个网格单元均优于随机移除。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）经常出现物体幻觉，即确认不存在的声音。主流的缓解方法——音频感知解码（AAD）——将真实音频下的 logits 与全零“空白”波形进行对比，此前评审指出这属于分布外。我们引入一种黑盒因果测试，直接隔离所声称的证据本身：通过 CLAP 相似度定位某个声明的证据区域，用频谱门控将其移除，并在三个 LALMs 上以 2x2x2 网格与随机窗口对照进行比较。在 Qwen2-Audio-7B 上，局部消融的原始 AUROC 落后于空白（0.613 对 0.721）；这是时长混杂因素，而非定位失败，因为空白移除整个片段，而网格仅移除 2-4 秒。在固定时长下，定位在两个模型的每个单元格上都优于随机移除。原始检测值仍依赖于模型，尤其是在 Audio Flamingo 3 上。同样的证据可修正解码：结合空白对比与语言先验对比、经门控与集成的对比解码，将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%，优于单独使用 AAD。统一的因果接地特征无法在模型间迁移，表明存在不同的接地机制。源代码及我们发现的详细报告（包括已识别的局限性）可在 此 https URL 获取。
| 评论： | 5 页，1 幅图，4 张表。提交至 IEEE ICASSP 2027 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.13112 [cs.AI] |
| （或 arXiv:2610.13112v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13112 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammad Khalooei [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 07:06:24 UTC（37 KB）
来源：arXiv cs.AI · arxiv.org