AURA：冻结音频编码器与语言模型协同，双声源方向准确率提升10.31分

Boyan Han 等作者提交论文提出 AURA 方法：保持通用音频编码器与语言模型冻结，仅训练连接部分，使两者协同工作。在 SpatialSoundQA 双声源方向判断上，AURA 比最强专用系统高 10.31 分，可训练参数约为后者的 40%。 研究称，冻结的编码器本身已保留空间信息，但双声源场景下模型难以把方向绑定到被查询的那个声源，原因是音频含两个声源、答案只描述其一，形成信息不对称。控制实验显示，补全场景描述或显式提供通道间差异都能改善左右判断，两者结合才能完成方向绑定。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。