arXiv cs.CL· Yulin Sun, Kele Xu, Yong Dou·· 9 天前AI 评分22
ICAP-Gate：为大音频语言模型提供机制引导的选择性听觉控制
Selective Listening: Mechanism-Guided Control of Audio Influence in Large Audio-Language Models
AI 导读
针对任务无关音频会干扰大音频语言模型文本推理的问题，研究者提出 ICAP-Gate，对每个模型架构特定的晚期音频通路施加机制引导、任务条件化的控制。在 4 个 LALM、2 个推理基准和 16 组全量评估中，ICAP-Gate 的影响率与答案翻转率点估计均低于无门控推理；固定抑制会损害全部 4 个模型的 ASR 表现，而 ICAP-Gate 在显式音频需求指令下可保持与无门控相当的 ASR 性能。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）能够利用多模态证据，但当无需聆听时，任务无关的音频仍可能改变文本推理决策。总体准确率可能掩盖这种配对漂移，因为音频引发的修复与损害可能相互抵消。配对漂移分析和针对性干预识别出架构特定、对干预敏感的晚期音频通路，可作为可操作的控制点。我们提出 ICAP-Gate，对每个模型的通路施加机制引导、任务条件化的控制。在四个 LALMs、两个推理基准以及环境声和自然语音干扰下，ICAP-Gate 在全部 16 项全划分模型—条件评估中的 Influence Rate 和 Answer Flip 点估计均低于无门控推理。固定抑制会降低全部四个模型的自动语音识别（ASR）性能，而 ICAP-Gate 通过为显式音频需求指令保留该通路，达到与无门控 ASR 相当的性能。在全部四个评估设置中，ICAP-Gate 的配对漂移点估计均低于缓解提示，并且每次查询仅使用一次生成，即可提供相对于八样本 Self-Consistency 有竞争力的稳定性；在受控 ARC 测量中，Self-Consistency 会产生 $7.0$--$9.2\times$ 无门控延迟。这些结果确立了选择性模态影响控制作为稳健多模态推理的设计原则。
| 评论： | 24 页，5 幅图，20 张表 |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11196 [cs.SD] |
| （或 arXiv:2610.11196v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11196 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yulin Sun [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 04:00:47 UTC（2,253 KB）
来源：arXiv cs.CL · arxiv.org