arXiv cs.CL· Liwei Liu, Jun Tao, Xingyuan Li, Xuenan Xu, Chen Zhang, Junyi Wang, Boya Zhang, Xiaoyu Yang, Zhen-Hua Ling, Wen Wu, Chao Zhang·· 10 小时前AI 评分34
音频 LLM 能否泛化到人类听觉之外？Machine Hearing Benchmark 与 MachEar 编码器扩展
Machine Hearing: Can Audio LLMs Generalize Beyond Human Auditory Perception?
AI 导读
研究者提出 Machine Hearing Benchmark（MHB），含 13 项任务、7 个领域共 6,128 个实例，采样率覆盖约 10^-5 至 10^6 Hz、序列长度 10^1 至 10^6 样本。
正文 · AI 翻译
作者：Liwei Liu、Jun Tao、Xingyuan Li、Xuenan Xu、Chen Zhang、Junyi Wang、Boya Zhang、Xiaoyu Yang、Zhen-Hua Ling、Wen Wu、Chao Zhang
摘要：多模态 LLM 在感知物理世界方面已取得显著进展，但其感知范围在很大程度上仍以人为中心，聚焦于人类能直接看到或听到的内容。这一进展带来了超越人类极限的感知前景，例如将听觉扩展到人类听不到的声音。更广泛地说，物理世界充满了波、振动和振荡，其中只有一小部分能直接被人类听到。这促使我们将多模态 LLM 扩展到更广泛的机器听觉形式，而这一方向在很大程度上仍未被充分探索。为研究这一方向，我们提出了机器听觉基准（MHB），包含 13 项任务、7 个领域的 6,128 个实例。MHB 涵盖高度异构的输入情形，采样率从约 $10^{-5}$ 到 $10^6$ Hz，序列长度从 $10^1$ 到 $10^6$ 个样本，并包含单通道和多通道输入。对当前开源和专有音频 LLM（ALLM）的评估显示，其向机器听觉的零样本迁移能力有限。仅在机器听觉数据上进行监督适配并不能弥合这一差距，这表明挑战不仅在于数据暴露，还在于现有音频前端与机器听觉输入之间的系统性不匹配。为解决这一不匹配问题，我们提出了 MachEar，这是一种轻量级编码器扩展，可对预训练音频 LLM 形成补充以处理机器听觉输入。结果表明，MachEar 使预训练音频 LLM 具备更强的机器听觉能力，同时基本保持其现有的音频理解性能。
| 评论： | 22 页，7 幅图，5 张表 |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.10693 [cs.SD] |
| （或 arXiv:2611.10693v2 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.10693 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Liwei Liu [查看电子邮件]
[v1]
2026 年 11 月 7 日星期六 12:23:08 UTC（1,331 KB）
[v2]
2026 年 11 月 10 日星期二 12:22:34 UTC（1,331 KB）
来源：arXiv cs.CL · arxiv.org