arXiv cs.CL· Daeyong Kwon, Qiyu Wu, Shinobu Kuriya, Junghyun Koo, Shuyang Cui, Zhi Zhong, Wei-Hsiang Liao, Hiromi Wakaki, Yuki Mitsufuji·· 11 小时前AI 评分31
MusTBench：评测并提升音乐 LLM 的时间定位能力
MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs
AI 导读
研究者推出 MusTBench，一个带分轨数据和音乐专家校验的基准，通过五类时间定位问答任务评测大型音频语言模型（LALM）的时间定位能力。配套提出四阶段训练方案 MusT，涵盖音乐编码器适配、LLM 适配、LLM 监督微调与基于 RL 的优化。实验显示现有 LALM 在精确时间定位上仍有困难，而 MusT 在不同 LALM 骨干和规模上均能稳定提升性能。
正文 · AI 翻译
摘要：近期的大型音频语言模型（LALMs）在理解音乐内容方面展现出令人期待的能力。然而，它们的回答是否基于音频中正确的时间区域，仍缺乏充分探索。这一局限在音乐理解中尤为关键，因为关键信息往往以时间上局部化的事件形式出现，例如乐器进入和节奏转换。为填补这一空白，我们推出 MusTBench，这是一个可靠的基准，采用分轨数据和音乐专家验证，旨在通过五项基于时间定位的问答任务评估 LALMs 的时间定位能力。为进一步提升现有模型的时间定位能力，我们提出 MusT，一种新颖的四阶段时间优化方案，涵盖音乐编码器适配、LLM 适配、LLM 监督微调以及基于 RL 的优化。在 MusTBench 上的实验表明，现有 LALMs 在精确时间定位方面面临挑战，而 MusT 在不同 LALM 骨干和规模上均能持续提升性能。这些结果凸显了时间定位是当前 LALMs 的一项重要挑战，并提供了一个基准和训练方案，或可支持未来关于时间定位音乐理解的研究。
| 评论： | 项目页面：this https URL | Github：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2605.29300 [cs.CL] |
| （或 arXiv:2605.29300v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.29300 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daeyong Kwon [查看邮箱]
[v1]
2026年5月28日星期四 03:28:16 UTC（12,011 KB）
[v2]
2026年9月1日星期二 15:58:50 UTC（12,003 KB）
[v3]
2026年11月4日星期三 13:56:29 UTC（9,735 KB）
来源：arXiv cs.CL · arxiv.org