跳到正文
arXiv·· 13 天前AI 评分31

SEA-LM:面向可穿戴麦克风阵列的自我中心空间音频理解

SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays

AI 导读

针对大型音频语言模型缺乏空间感知、丢弃声源定位线索的问题,研究者提出空间音频理解模型 SEA-LM,并引入布局灵活的空间音频编码器 FOACODER,其以声源定位和自我中心语音活动检测为目标训练,用于编码 First-order Ambisonics 等空间音频信息。

来源:arXiv · arxiv.org