arXiv cs.AI· Haoyue Liu, Xiaoying Tang·· 3 天前AI 评分31
语言模型需要音乐监督吗？面向多约束符号音乐生成的可验证奖励方法
Do Language Models Need Music Supervision? Verifiable Rewards for Multi-Constraint Symbolic Music Generation
AI 导读
研究提出 MusicConstraintBench 基准（2180 条、八类可程序化验证约束）与 MusicRLVR 方法，仅用验证器奖励对语言模型做 GRPO 训练，无需人工标注、奖励模型或音乐领域监督微调。
正文 · AI 翻译
摘要：语言模型如今能够根据自然语言指令生成符号音乐。然而，现有模型仍难以同时满足多个明确的音乐约束。为系统评估这一能力，我们提出了 MusicConstraintBench，一个包含 2180 个条目的基准，涵盖八类可通过程序验证的约束。在该基准上，Llama-3.1-70B 满足 0.630 的单约束条目，但仅满足 0.044 的四约束条目。为应对这一挑战，我们提出了 MusicRLVR，它仅使用验证器奖励，通过组相对策略优化（GRPO）训练语言模型，无需人工标注、奖励模型或音乐领域监督微调。MusicRLVR 包含：（1）硬验证门，拒绝格式错误的乐谱；（2）按类别分级计分，与二元奖励不同，可区分部分正确的输出；（3）全满足奖励，用于一次性满足所有约束。大量实验表明，经过 300 次 GRPO 更新后，MusicRLVR 将 Qwen3-4B-Instruct-2507 在混合约束上的表现从 0.160 提升至 0.807，优于 Llama-3.1-70B，并能泛化到未见过的属性组合、超出范围的参数以及比任何训练提示更多的约束。该方案可迁移至 Qwen3-8B，且两个训练后的模型在通用基准上均未出现显著精度损失。
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.23665 [cs.SD] |
| （或 arXiv:2609.23665v3 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.23665 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoyue Liu [查看邮箱]
[v1]
2026年9月20日星期日 14:22:10 UTC（8,083 KB）
[v2]
2026年10月7日星期三 14:49:36 UTC（7,494 KB）
[v3]
2026年10月13日星期二 02:00:29 UTC（7,783 KB）
来源：arXiv cs.AI · arxiv.org