arXiv cs.AI· Jihoon Jeong, Mirco Ravanelli, Zhepei Wang, Cem Subakan·· 14 小时前AI 评分26
Audio-R1：用自监督任务强化学习提升音频推理
Audio-R1: Audio Reasoning through Reinforcement Learning on Self-Supervised Tasks
AI 导读
Audio-R1 是一个强化学习后训练框架，将音频自监督学习任务作为可验证奖励来源，用于提升大音频语言模型（LALM）的音频理解与推理表现。该框架利用自监督任务构建过程中自动确定的答案来校验模型回答并计算奖励，在多个 LALM 和多样化音频基准上取得一致性能提升。消融实验显示各子任务均有贡献，联合训练带来额外增益，且 Audio-R1 在训练任务之外的下游任务上优于监督微调。
正文 · AI 翻译
摘要：推理对于大型音频语言模型（LALM）日益重要，但与纯文本模型和视觉语言模型相比，相关研究仍相对不足。我们提出 Audio-R1，这是一个强化学习（RL）后训练框架，它将音频自监督学习重新视为可验证奖励的来源，以提升音频理解与推理任务的性能。Audio-R1 利用在构建自监督任务时自动确定的答案来验证模型回答并计算奖励。在多个 LALM 和多种音频基准上的实验显示性能持续提升，消融实验则证明了每项自监督任务的收益以及联合训练带来的额外增益。虽然监督微调和 Audio-R1 都能提升自监督任务的准确率，但 Audio-R1 还能进一步改善与训练任务不同的下游任务性能。这些结果凸显了利用自监督音频任务进行 RL 后训练以提升下游性能和推理轨迹质量的潜力。
| 学科： | 声音（cs.SD）；人工智能（cs.AI）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.34609 [cs.SD] |
| （或 arXiv:2610.34609v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34609 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Cem Subakan [查看邮箱]
[v1]
2026年10月25日星期日 22:17:04 UTC（343 KB）
来源：arXiv cs.AI · arxiv.org