arXiv cs.CL· Xilin Jiang, Shun Zhang, Tejas Jayashankar, Yinghao Aaron Li, Osama Hanna·· 9 天前AI 评分30
CVAM：基于人类听众强化学习的对话语音美学模型
Conversational Voice Aesthetic Model with Reinforcement Learning from Human Listeners
AI 导读
研究者提出对话语音美学模型 CVAM，一个用于描述真实或合成语音回复美学特征的语音大语言模型，可预测涵盖性别、音高、节奏、情感与表达方式的九类属性。团队从 CANDOR 语料库收集 3k 条真实与合成回复、每条约 10 份人类标注，先监督微调再用 Group Relative Policy Optimization 基于人类判断优化。
正文 · AI 翻译
摘要：我们提出 Conversational Voice Aesthetic Model，一种语音大语言模型，用于在自然对话语境中描述真实或合成语音响应的声音美学。给定一个上下文和一段响应语音，CVAM 描述刻画该声音的显著时刻，并预测涵盖性别、音高、节奏、情感和表达方式的九个类别属性。关键挑战在于情感和表达方式等感知领域，这些领域本质上是主观的，缺乏确定的真值。因此，我们为源自 CANDOR 语料库的 3k 条真实和合成响应各收集了约 10 个人工标注。CVAM 在合成的美学描述和标签上进行监督微调，然后通过 Group Relative Policy Optimization 基于人类判断进行优化。实验表明，CVAM 与人类听众的一致性优于 Gemini 3.1 Pro 和开源语音 LLM，并超过单人与其余人之间的一致性。总之，我们证明了将声音美学建立在人类感知之上的重要性，并提出了一个用于人类对齐的原则性框架。
| 学科： | 音频与语音处理 (eess.AS)；计算与语言 (cs.CL)；机器学习 (cs.LG)；多媒体 (cs.MM)；声音 (cs.SD) |
| 引用为： | arXiv:2610.10868 [eess.AS] |
| （或 arXiv:2610.10868v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10868 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xilin Jiang [查看电子邮件]
[v1]
2026年10月7日星期三 20:13:03 UTC（860 KB）
来源：arXiv cs.CL · arxiv.org