arXiv cs.CL· HaeJun Yoo, Yongseop Shin, Insung Lee, Myoung-Wan Koo, Du-Seong Chang·· 3 天前AI 评分22
Omni-Embed-Audio：用多模态 LLM 实现鲁棒的音频-文本检索
Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
AI 导读
Omni-Embed-Audio（OEA）是一个基于多模态 LLM 的检索导向编码器，在 AudioCaps、Clotho 和 MECAT 上文本到音频检索性能与 SOTA 的 M2D-CLAP 相当。
正文 · AI 翻译
摘要：基于对比语言-音频预训练（CLAP）的音频-文本检索系统在传统基准上取得了强劲表现；然而，这些基准依赖的标题式查询与现实世界的搜索行为存在显著差异，限制了它们对实际检索鲁棒性的评估。我们提出 Omni-Embed-Audio（OEA），一种利用具备原生音频理解能力的多模态 LLM 的面向检索的编码器。为了系统地评估标题式查询之外的鲁棒性，我们引入用户意图查询（UIQ）——反映自然搜索行为的五种表述形式：问题、命令、关键词标签、改写以及基于排除的否定查询。针对否定查询，我们开发了难负例挖掘流程，并提出判别指标（HNSR、TFR），用于评估模型抑制声学相似干扰项的能力。在 AudioCaps、Clotho 和 MECAT 上的实验表明，OEA 的文本到音频检索性能与最先进的 M2D-CLAP 相当，同时在两个关键方面展现出明显优势：（1）文本到文本检索占优（相对提升 +22%），（2）难负例判别能力显著更强（HNSR@10 提升 +4.3 个百分点，TFR@10 相对提升 +34.7%），表明 LLM 主干对复杂查询具有更优的语义理解能力。
| Comments: | 被 ACL 2026 主会议接收。最终版本 |
| Subjects: | 声音（cs.SD）；计算与语言（cs.CL） |
| Cite as: | arXiv:2604.18360 [cs.SD] |
| （或 arXiv:2604.18360v4 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.18360 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：HaeJun Yoo [查看邮箱]
[v1]
2026年4月20日星期一 14:50:33 UTC（771 KB）
[v2]
2026年6月1日星期一 04:50:48 UTC（770 KB）
[v3]
2026年7月7日星期二 23:45:36 UTC（773 KB）
[v4]
2026年10月14日星期三 06:38:52 UTC（773 KB）
来源：arXiv cs.CL · arxiv.org