arXiv cs.CL· Oh Hyun-Bin, Kazuki Shimada, Yuhta Takida, Kim Sung-Bin, Toshimitsu Uesaka, Takashi Shibuya, Kyeongyoon Lee, Tae-Hyun Oh, Yuki Mitsufuji·· 12 小时前AI 评分31
ST-AudioLM：面向动态声源的时空音频语言建模
Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources
AI 导读
研究者提出 ST-AudioQA 时空音频问答数据集与基准，基于一阶 Ambisonic（FOA）渲染的静态与移动声源构建，每个场景包含声源身份、活动、方向、距离与运动元数据。
正文 · AI 翻译
摘要：声音事件具有语义身份、位置和轨迹，然而现有的音频-语言模型通常将音频片段编码为全局事件内容。相反，声音事件定位模型随时间跟踪声源方向，但为语言推理提供的语义覆盖有限。为弥合这一差距，我们推出 ST-AudioQA，这是一个时空音频问答数据集与基准，基于静态和移动声源的一阶 Ambisonic（FOA）渲染构建。每个场景提供声源身份、活动、方向、距离和运动元数据，从而支持密集的轨迹监督，以及关于什么在发声、它在哪里、它如何移动以及声源之间如何关联的问答。我们进一步推出 ST-Audio Encoder，它联合学习事件语义和时间分辨的声源轨迹，以及 ST-AudioLM，它将音频 token 暴露给 LLM 以进行时空音频问答。实验表明，这种表示改善了语义保留与定位之间的平衡，并比静态空间和面向定位的基线产生更强的推理能力。在受控基准之外，ST-AudioLM 展示了对真实录音的零样本迁移，经过轻度适配后进一步提升。项目页面：this https URL。
| 评论： | EMNLP 2026 主会议 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.14141 [cs.SD] |
| （或 arXiv:2606.14141v2 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.14141 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hyun-Bin Oh [查看电子邮件]
[v1]
2026年6月12日星期五 05:58:31 UTC（273 KB）
[v2]
2026年10月27日星期二 10:34:08 UTC（1,477 KB）
来源：arXiv cs.CL · arxiv.org