arXiv cs.CL· Kaiwen Luo, Chunxi Luo, Liang Lin, Yuxuan Li, Zhenhong Zhou, Junhao Dong, Yingjie Zhou, Zhendong Chu·· 6 天前AI 评分31
EchoDistill：用噪声到干净自蒸馏提升大型音频语言模型鲁棒性
EchoDistill: Robust Large Audio Language Models via Noisy-to-Clean Self-Distillation
AI 导读
EchoDistill 是一个噪声到干净的自蒸馏框架，用干净音频作为后训练阶段的特权信息，让噪声输入的学生模型对齐干净条件下的语义，推理时仅保留学生模型、不增加额外开销。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）仍然容易受到声学噪声的影响，噪声会掩盖与任务相关的证据并产生不可靠的响应。我们提出 EchoDistill，一种从噪声到干净的自蒸馏框架，在后训练期间将干净音频用作特权信息。噪声输入的学生模型采样反映其推理时行为的候选响应，而同一骨干网络的冻结副本处理相应的干净音频。EchoDistill 结合了掩码响应 token 蒸馏、任务门控一致性塑造和教师参考的组相对优化，使噪声输入生成与干净条件语义对齐。推理时仅保留学生模型，不引入额外的推理成本。在三个 LALM 骨干网络和三个音频领域上，在 -10dB 条件下，EchoDistill 相比最强基线将平均噪声输入准确率提高了 1.63 个百分点。在 Qwen2.5-Omni 上，它将噪声输入准确率从 59.33% 提高到 62.94%，同时干净音频准确率从 76.56% 提高到 77.56%。将匹配音频替换为随机、打乱或静音输入会使准确率下降 3.08-6.42 个百分点，证实匹配的声学证据对其预测有贡献。额外评估显示在留出的加性噪声和外部基准上有所改进，同时揭示这些增益并不能可靠地扩展到非加性失真。这些结果表明，在严重加性噪声下后训练取得了稳健的改进，且未牺牲跨多样任务的干净音频能力。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2605.23954 [cs.CL] |
| （或 arXiv:2605.23954v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.23954 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Kevin Luo [查看电子邮件]
[v1]
2026年5月11日星期一 06:30:25 UTC（7,840 KB）
[v2]
2026年10月2日星期五 12:48:58 UTC（1,767 KB）
[v3]
2026年10月5日星期一 14:19:35 UTC（1,768 KB）
[v4]
2026年10月9日星期五 03:02:06 UTC（1,768 KB）
来源：arXiv cs.CL · arxiv.org