Auto-AEG：面向开放词汇音频事件定位的可扩展数据构建方案
Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding
Auto-AEG 通过程序合成带精确时间区间的音频片段做冷启动监督，再用多模型伪标签在真实音频上提供强化学习奖励信号，构建开放词汇音频事件定位所需的 onset/offset 监督数据。该流程在独立的分层难度基准 AEGBench 上带来大幅时间定位提升，并泛化到多个留出的 SED 与音频定位基准，其标注已开源。
作者：Zihan Zhang、Xize Cheng、Wenhao Yan、Tong Zhang、Dongjie Fu、Wenxu Jia、Boyun Zhang、Yongbo He、Qifei Zhang、Linjun Li、Wenshi Chen、Tao Jin
摘要：大型音频语言模型（LALMs）能够流畅地对声音进行推理，却难以精确定位事件发生的时间，而经典的声音事件检测（SED）仅在封闭标签集上实现帧级精度。在这两种范式的交汇处，是开放词汇音频事件定位任务：预测由任意自然语言查询所描述的目标声音事件的所有时间区间。该领域的进展受限于数据稀缺：没有大规模资源提供开放词汇的起始/结束监督，而人工时间标注成本高得令人望而却步。为解决这一问题，我们提出了 Auto-AEG，一种可扩展的流水线，通过自动数据构建和模型微调来构建此类监督。它将程序化合成的片段（带有放置精确的真值区间，用于监督式冷启动）与真实世界音频上的多模型伪标签（为强化学习提供奖励信号）相结合。使用该流水线进行训练，在 AEGBench 上取得了显著的时间定位提升，这是一个独立的按难度分层的基准，我们发布了其标注，且这些提升可泛化到多个留出的 SED 和音频定位基准。我们的结果表明，自动构建的数据结合区间感知的奖励设计，为扩展 LALMs 的时间定位能力提供了一条有效的数据侧路径。
| 评论： | 进行中的工作 |
| 主题： | 声音 (cs.SD)；人工智能 (cs.AI) |
| 引用为： | arXiv:2607.04383 [cs.SD] |
| （或 arXiv:2607.04383v5 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.04383 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zihan Zhang [查看邮箱]
[v1]
2026年7月5日星期日 16:22:14 UTC（1,478 KB）
[v2]
2026年7月21日星期二 03:31:22 UTC（1,487 KB）
[v3]
2026年7月23日星期四 08:55:09 UTC（1,398 KB）
[v4]
2026年7月29日星期三 12:04:35 UTC（1,404 KB）
[v5]
2026年10月13日星期二 07:23:33 UTC（1,459 KB）
来源：arXiv cs.AI · arxiv.org