arXiv cs.CL· Mateusz Modrzejewski, Tomasz Radzikowski·· 6 天前AI 评分23
生成音乐的音频语言评判模型到底在听什么？四项探针与专家评分对照研究
What Do Audio-Language Judges of Generated Music Listen For? Four Probes with Controls from Expert Ratings
AI 导读
研究提出四项探针检验开放音频语言模型作为生成音乐评判者时究竟响应音乐、文本提示还是提问方式，并在 MusicEval 全部 2,748 个片段上测试五个开放评判模型。去掉音频后，没有任何评判模型超过仅凭提示词从人类评分预测的水平；成对评判中四个较小模型的结论跟随片段位置而非质量，改写指令对多数模型相关性影响堪比更换评判模型。作者建议每次音乐评判都报告这四项探针结果。
正文 · AI 翻译
摘要：开放音频语言模型被用作生成音乐的评判者：给定一个片段及其文本提示，模型对该片段进行评分，而评判者的有效性通过其评分与专家评分的相关性来验证。相关性并不能说明评判者响应的是什么：是音乐、文本提示，还是提问的方式。我们提出四种探针来分别测试这些方面，其中三种与根据人工评分计算出的对照进行比较：移除音频、将片段替换为另一个模型针对同一提示生成的片段、在成对评判中交换两个片段的顺序，以及改写指令。我们将它们应用于 MusicEval 全部 2,748 个片段上的五个开放评判者，并将后两种应用于 SongEval 歌曲。在没有音频的情况下，没有任何评判者能超过仅凭提示从人工评分中预测出的结果，而在提示对齐方面，每个评判者都低于该结果。在有音频的情况下，每个评判者在评分提示对齐时都会跟随它所听到的片段，两个评判者在评分音乐质量时会如此，而最强评判者的质量得分与专家对齐评分的相关性高于与其质量评分的相关性。四个较小评判者的成对判定在两个评分集上都跟随片段在配对中的位置（其槽位），而不是其质量。对于音乐质量，改写指令使大多数评判者的相关性变化幅度与更换评判者一样大。MusicEval 的提示分配在模型层面限制了任何仅基于提示的评判者。我们建议每个音乐评判者都报告这四种探针。
| 评论： | 10 页，1 幅图，15 个表格 |
| 主题： | 声音 (cs.SD)；计算与语言 (cs.CL)；音频与语音处理 (eess.AS) |
| 引用为： | arXiv:2610.13247 [cs.SD] |
| （或 arXiv:2610.13247v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13247 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mateusz Modrzejewski [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 08:56:54 UTC（50 KB）
来源：arXiv cs.CL · arxiv.org