arXiv cs.AI· Boyan Han, Xiaoyan Wang, Zhe Sun, Ziqi Wang, Yujun Cai, Hongli Cao, Yiwei Wang, Ming-Hsuan Yang, Liang An·· 10 小时前AI 评分34
AURA：用通用音频编码器统一表征实现听觉空间智能
AURA: Auditory Spatial Intelligence via a Unified Representation from a General-Audio Encoder through Complete Alignment
AI 导读
AURA 通过完整对齐让冻结的通用音频编码器与语言模型协同工作，在 SpatialSoundQA 双声源方向准确率上超过最强专用系统 10.31 分，可训练参数仅约 40%。研究发现冻结编码器本身保留空间信息，但双声源场景下模型难以将方向绑定到被查询声源，根源是音频含两个声源而答案只描述其一的信息不对称。控制实验表明，补全场景描述或显式提供通道间差异均可提升左右判断，两者结合才能完成方向绑定。
正文 · AI 翻译
摘要：回答关于多源场景的空间问题，需要模型既能识别每个声音，又能定位它。现有的空间音频-语言模型从专用编码器获取空间信息，这会将空间处理与语义处理分离到不同的特征空间中。我们研究一个未接受空间监督训练的通用音频编解码器能否同时服务于这两个目的。一项受控的逐层分析表明，冻结的编解码器保留了空间信息，其中侧向线索由双耳通道之间的差异承载。然而，这一信息并不容易获取：在双源场景中，基于这些特征训练的模型预测左/右的结果等同于随机，而在其余轴上，它将检测到的方向分配给被查询声源和未被查询声源的频率相同。我们将这一失败归因于音频-文本信息不对称，即音频包含两个声源，而答案只描述被查询的那一个。一项受控的 $2\times2$ 实验表明，无论是补全场景描述还是暴露通道间差异，都能将左/右准确率提升至随机水平以上，而要将方向绑定到被查询声源则需要两者兼备。基于这些发现，AURA 保持编解码器和语言模型冻结，在 SpatialSoundQA 上的双源方向准确率超过最强的专用系统 10.31 分，而其可训练参数仅约为后者的 40\%。
| 主题： | 声音 (cs.SD)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.13687 [cs.SD] |
| （或 arXiv:2611.13687v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13687 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Boyan Han [查看邮箱]
[v1]
2026年11月10日星期二 07:34:05 UTC (8,294 KB)
来源：arXiv cs.AI · arxiv.org